多模态数据处理方法、设备、介质及计算机程序产品

    公开(公告)号:CN119167068B

    公开(公告)日:2025-04-25

    申请号:CN202411667150.8

    申请日:2024-11-21

    Abstract: 本发明涉及数据处理技术领域,公开了一种多模态数据处理方法、设备、介质及计算机程序产品,该方法包括:对视觉数据和文本数据进行特征提取,将提取的视觉模态特征写入主机扩展内存中,并将提取的文本模态特征写入设备内存中;对视觉模态特征进行切分,得到视觉特征片段并写入设备内存中;将文本模态特征与视觉特征片段进行融合,并将融合后的特征经切分和相应计算后输出的中间结果写入片上静态内存中;将最终得到的目的结果写入设备内存中。这样可以减少显存占用,保障特征对齐的正确性,避免多模态特征文本注意力的缺失。

    文本生成方法及其模型梯度剪枝方法、装置、设备、介质

    公开(公告)号:CN117910536B

    公开(公告)日:2024-06-07

    申请号:CN202410309633.4

    申请日:2024-03-19

    Abstract: 本发明涉及人工智能技术领域,公开了文本生成方法及其模型梯度剪枝方法、装置、设备、介质,训练预热阶段保持文本生成模型当前的模型梯度不变;非训练预热阶段,基于滑窗尺寸信息和性能损失函数,确定出文本生成模型在每个训练步数下以损失函数变化率为表征的性能;根据设定的训练状态条件以及每个训练步数下以损失函数变化率为表征的性能和单步训练时长,依次对每个训练步数下的梯度剪枝量进行调整。每得到一个调整后的梯度剪枝量,则按照调整后的梯度剪枝量对文本生成模型进行梯度剪枝操作,直至当前训练步数达到文本生成模型的总训练步数,结束对文本生成模型的剪枝操作,保证了文本生成模型的训练任务能够在低速不稳定的网络环境中顺利完成。

    一种图像实例标注方法、装置、设备及介质

    公开(公告)号:CN114863120A

    公开(公告)日:2022-08-05

    申请号:CN202210428476.X

    申请日:2022-04-22

    Abstract: 本申请公开了一种图像实例标注方法、装置、设备及介质,涉及计算机视觉技术领域,所述方法包括:通过卷积神经网络对目标图像进行特征提取,得到提取后卷积特征;基于提取后卷积特征确定出一个或多个目标预测框以及目标预测框的坐标向量;利用目标预测框对提取后卷积特征进行截取,并通过图卷积网络对每一目标预测框对应的截取后特征分别进行实例类别标注以及实例坐标标注,得到目标图像中每一目标预测框内的目标实例分别对应的类别向量以及标注坐标序列,可见,本申请通过目标预测框对所述目标图像的卷积特征进行截取,并对截取后特征进行进一步的推理,精简了网络结构中复杂的多尺度特征,提高了生产效率。

    多模态数据处理方法、设备、介质及计算机程序产品

    公开(公告)号:CN119167068A

    公开(公告)日:2024-12-20

    申请号:CN202411667150.8

    申请日:2024-11-21

    Abstract: 本发明涉及数据处理技术领域,公开了一种多模态数据处理方法、设备、介质及计算机程序产品,该方法包括:对视觉数据和文本数据进行特征提取,将提取的视觉模态特征写入主机扩展内存中,并将提取的文本模态特征写入设备内存中;对视觉模态特征进行切分,得到视觉特征片段并写入设备内存中;将文本模态特征与视觉特征片段进行融合,并将融合后的特征经切分和相应计算后输出的中间结果写入片上静态内存中;将最终得到的目的结果写入设备内存中。这样可以减少显存占用,保障特征对齐的正确性,避免多模态特征文本注意力的缺失。

    一种待更新参数选择方法、装置、计算设备及存储介质

    公开(公告)号:CN117875397A

    公开(公告)日:2024-04-12

    申请号:CN202410269821.9

    申请日:2024-03-11

    Abstract: 本发明提供一种待更新参数选择方法、装置、计算设备及存储介质,涉及计算机技术领域,方法应用于计算设备,计算设备存储有待训练的神经网络模型,包括:在对神经网络模型的模型参数执行每轮迭代训练的反向传播操作前,获取与神经网络模型中的各网络层对应的辅助网络;辅助网络包含与网络层中的各神经元对应的辅助参数,辅助参数利用与神经网络模型在每轮迭代训练中共同确定的损失值进行迭代更新;利用门控单元确定各辅助参数对应的门控值;将门控值不大于门控阈值的辅助参数对应的神经元所包含的模型参数设置为待更新参数,并清除不属于待更新参数的模型参数;门控阈值利用计算设备的存储资源量设置;可减少对计算设备存储资源的消耗。

    一种图片加密方法、解密方法、加密系统及相关装置

    公开(公告)号:CN113726979A

    公开(公告)日:2021-11-30

    申请号:CN202110876887.0

    申请日:2021-07-31

    Abstract: 本申请提供一种图片加密方法,包括:获取待加密图片,利用DNN分类模型对所述待加密图片进行前向计算;所述DNN分类模型包括输入层、隐含层和输出层,所述隐含层包含若干中间层;记录所述待加密图片经过每层时的元数据;将所述元数据作为所述待加密图片的加密数据。本申请实现加密过程可控制,且难以破解,且所得到的元数据可以根据信息量选择提取部分元数据作为加密数据,使得得到的加密数据远小于原始信息。本申请还提供一种图片解密方法、图片加密系统、计算机可读存储介质和电子设备,具有上述有益效果。

    一种待更新参数选择方法、装置、计算设备及存储介质

    公开(公告)号:CN117875397B

    公开(公告)日:2024-06-04

    申请号:CN202410269821.9

    申请日:2024-03-11

    Abstract: 本发明提供一种待更新参数选择方法、装置、计算设备及存储介质,涉及计算机技术领域,方法应用于计算设备,计算设备存储有待训练的神经网络模型,包括:在对神经网络模型的模型参数执行每轮迭代训练的反向传播操作前,获取与神经网络模型中的各网络层对应的辅助网络;辅助网络包含与网络层中的各神经元对应的辅助参数,辅助参数利用与神经网络模型在每轮迭代训练中共同确定的损失值进行迭代更新;利用门控单元确定各辅助参数对应的门控值;将门控值不大于门控阈值的辅助参数对应的神经元所包含的模型参数设置为待更新参数,并清除不属于待更新参数的模型参数;门控阈值利用计算设备的存储资源量设置;可减少对计算设备存储资源的消耗。

    一种分布式训练通信方法、装置、系统、设备及存储介质

    公开(公告)号:CN117808083B

    公开(公告)日:2024-05-03

    申请号:CN202410230106.4

    申请日:2024-02-29

    Abstract: 本发明涉及机器学习技术领域,具体公开了一种分布式训练通信方法、装置、系统、设备及存储介质,通过根据分布式训练任务的模型精度损失函数,构建以满足梯度数据的期望稀疏度为约束条件、以模型精度损失最小化为优化目标的数据稀疏化目标函数;基于分布式训练任务的迭代计算得到的节点梯度数据和分布式训练任务的模型网络求解数据稀疏化目标函数,得到梯度数据稀疏化位置信息,从而在计算节点传输节点梯度数据时根据梯度数据稀疏化位置信息进行梯度数据稀疏化传输,使梯度数据稀疏化位置信息的生成次数小于分布式训练任务的迭代计算次数,实现了在分布式训练过程中自适应梯度数据稀疏化处理,兼具提高训练效率和保证模型精度的效果。

    一种分布式训练通信方法、装置、系统、设备及存储介质

    公开(公告)号:CN117808083A

    公开(公告)日:2024-04-02

    申请号:CN202410230106.4

    申请日:2024-02-29

    Abstract: 本发明涉及机器学习技术领域,具体公开了一种分布式训练通信方法、装置、系统、设备及存储介质,通过根据分布式训练任务的模型精度损失函数,构建以满足梯度数据的期望稀疏度为约束条件、以模型精度损失最小化为优化目标的数据稀疏化目标函数;基于分布式训练任务的迭代计算得到的节点梯度数据和分布式训练任务的模型网络求解数据稀疏化目标函数,得到梯度数据稀疏化位置信息,从而在计算节点传输节点梯度数据时根据梯度数据稀疏化位置信息进行梯度数据稀疏化传输,使梯度数据稀疏化位置信息的生成次数小于分布式训练任务的迭代计算次数,实现了在分布式训练过程中自适应梯度数据稀疏化处理,兼具提高训练效率和保证模型精度的效果。

    一种建筑物矢量轮廓图绘制方法、装置、设备及介质

    公开(公告)号:CN114998379A

    公开(公告)日:2022-09-02

    申请号:CN202210725389.0

    申请日:2022-06-24

    Abstract: 本申请公开了一种建筑物矢量轮廓图绘制方法、装置、设备及介质,涉及人工智能与深度神经网络领域,包括:获取建筑物图像,并对所述建筑物图像进行图像处理,以得到所述建筑物图像的特征图;对所述特征图进行初始化操作,以得到初始化特征图,并对所述特征图进行边缘检测处理,以得到处理后特征图;调用第一损失函数对所述初始化特征图和所述处理后特征图进行第一次训练,以得到概率图,调用第二损失函数并利用预先建立的循环神经网络,对所述概率图进行第二次训练,以得到所述建筑物图像的矢量轮廓图。通过本申请的上述技术方案,能够有效提升增加建筑物矢量轮廓图绘制的准确性,提高建筑物矢量轮廓图绘制的效率。

Patent Agency Ranking