任务处理方法、装置、电子设备及存储介质

    公开(公告)号:CN115062765A

    公开(公告)日:2022-09-16

    申请号:CN202210709171.6

    申请日:2022-06-21

    Abstract: 本申请提供一种任务处理方法、装置、电子设备及存储介质,该方法包括:在对Transformer模型进行训练的过程中,对于Transformer模型中的任一归一化层,确定该归一化层当前批次的第一统计值,依据该第一统计值以及该归一化层历史批次的统计值,利用滑动平均策略,对该第一统计值进行平滑处理,得到第二统计值,并利用将该归一化层的第二统计值进行前向或反向传播;在利用训练好的Transformer模型进行任务处理的过程中,对于Transformer模型中的任一归一化层,将该归一化层的统计值固定为第三统计值进行推理计算。该方法可以在降低Transformer模型的计算内存消耗的情况下,保证处理性能。

    目标检测方法、装置、电子设备及可读存储介质

    公开(公告)号:CN113486908A

    公开(公告)日:2021-10-08

    申请号:CN202110790334.3

    申请日:2021-07-13

    Abstract: 本申请提供一种目标检测方法、装置、电子设备及可读存储介质,该目标检测方法包括:获取待检测图像的多尺度特征;所述多尺度特征包括至少两个不同尺度的特征图;依据所述多尺度特征,分别生成各尺度的第一类型卷积核;分别依据各尺度的第一类型卷积核,对对应尺度的特征图进行特征融合,得到各尺度的特征融合后的特征图;分别对各尺度的特征融合后的特征图进行目标检测。该方法可以提高目标检测的准确性。

    一种模型压缩方法、装置、电子设备及可读存储介质

    公开(公告)号:CN112329923A

    公开(公告)日:2021-02-05

    申请号:CN202011334592.2

    申请日:2020-11-24

    Abstract: 本申请提供一种模型压缩方法、装置、电子设备及可读存储介质,该模型压缩方法包括:将待压缩模型划分为多个优化单元,其中,一个优化单元包括所述待压缩模型中连续的多个卷积层;对于任一优化单元,对该优化单元中各卷积层的参数进行量化,得到量化后的优化单元;分别对所述量化后的优化单元中各卷积层的参数进行优化,以使第一距离小于第二距离。该方法可以在保证模型性能和模型压缩效果的情况下,减少模型压缩消耗的时间和计算、存储资源。

    目标检测方法及装置
    65.
    发明授权

    公开(公告)号:CN108629354B

    公开(公告)日:2020-08-04

    申请号:CN201710161063.9

    申请日:2017-03-17

    Inventor: 李哲暘 谭文明

    Abstract: 本发明公开了一种目标检测方法及装置,属于机器视觉领域。该方法包括:从第一CNN模型的第一浅卷积层的特征图中以边长小于或等于预设阈值的锚点框为基准回归出多个第一检测目标候选框;对该第一深卷积层的特征图进行全尺度目标候选框提取,得到多个第二检测目标候选框;从该多个第二检测目标候选框中选取边长小于或等于该预设阈值的多个第三检测目标候选框;基于该多个第一检测目标候选框和该多个第三检测目标候选框的重合度,从该多个第一检测目标候选框中选取多个第四检测目标候选框;基于该多个第四检测目标候选框,对该目标图像中的各个目标进行分类,得到各个目标属于预设类别的概率。本发明提高了对小尺寸目标进行检测和识别的准确度。

    目标物检测方法及装置
    66.
    发明公开

    公开(公告)号:CN110889421A

    公开(公告)日:2020-03-17

    申请号:CN201811046272.X

    申请日:2018-09-07

    Inventor: 李哲暘 谭文明

    Abstract: 本发明公开了一种目标物检测方法及装置,属于深度学习领域。方法包括:将一批训练样本输入卷积神经网络,得到一批训练样本的预测结果;根据预测结果中的候选框与真值框的重叠程度,确定一批训练样本的正样本集合和负样本集合;根据负样本集合中各个负样本的候选框与真值框的重叠程度以及目标物的类别对应的置信度,确定负样本集合中的目标负样本;根据目标负样本,更新卷积神经网络的参数后,利用更新后的卷积神经网络进行目标物检测。本发明无需人工标注,整个过程比较简单,且由于目标负样本一般是难检测的样本,容易造成误检,根据目标负样本更新后的卷积神经网络能够提高目标检测的准确率。

    深度神经网络中的网络层运算方法及装置

    公开(公告)号:CN110751259A

    公开(公告)日:2020-02-04

    申请号:CN201810814030.4

    申请日:2018-07-23

    Abstract: 本申请实施例提供了深度神经网络中的网络层运算方法及装置,方法包括:获取网络层的输入数据、网络层各输入通道对应的输入位移量以及网络层各输出通道对应的输出位移量;针对各滤波器,分别利用该滤波器中各卷积核,对相应输入通道的输入数据进行卷积运算,得到各输入通道的卷积结果;针对各滤波器,根据各输入位移量,按照第一预设数据精度及数据范围,将该滤波器的各卷积结果进行对齐操作,并将对齐后的各卷积结果进行累加,得到该滤波器的累加结果;针对各滤波器,按照该滤波器对应的输出位移量,对该滤波器的累加结果进行移位,确定移位后的各滤波器的累加结果为网络层的运算结果。通过本方案可以提高网络层运算的准确率和效率。

    神经网络模型裁剪方法、装置、电子设备及存储介质

    公开(公告)号:CN119830982A

    公开(公告)日:2025-04-15

    申请号:CN202411865347.2

    申请日:2022-05-31

    Abstract: 本申请提供一种神经网络模型裁剪方法、装置、电子设备及存储介质,该方法包括:依据待裁剪神经网络模型的结构特性,将所述待裁剪神经网络模型划分为多个结构分组;依据对所述待裁剪神经网络模型进行裁剪前后的损失函数变化,确定对所述多个结构分组中各结构分组进行裁剪的目标裁剪率;其中,所述损失函数变化依据第一因子和第二因子确定,所述第一因子用于表征各结构分组中各个权重的重要性,所述第二因子用于表征不同结构分组之间的相互作用;依据所述目标裁剪率,分别对各结构分组进行裁剪,得到裁剪后的神经网络模型。该方法可以在较小性能损失的情况下加速压缩神经网络模型。

    注意力特征提取方法、装置和计算机可读存储介质

    公开(公告)号:CN119807717A

    公开(公告)日:2025-04-11

    申请号:CN202510294166.7

    申请日:2025-03-13

    Abstract: 本发明实施例提出注意力特征提取方法、装置和计算机可读存储介质。方法包括:根据待查询内容和参考内容,计算待查询内容对参考内容的定点注意力权重向量;将定点注意力权重向量的归一化结果表示成:浮点中间注意力权重向量除以浮点中间注意力权重向量的元素和;对浮点中间注意力权重向量、参考内容的浮点特征向量和浮点中间注意力权重向量的元素和分别进行量化处理;将定点中间注意力权重向量和参考内容的定点特征向量进行点乘后再除以浮点中间注意力权重向量的元素和的定点值,将得到的商向量的定点向量作为待查询内容的定点注意力特征向量。本发明实施例在不增加注意力特征提取复杂度的同时,降低注意力特征提取过程中的量化损失。

    一种模型压缩方法、装置、电子设备、存储介质及产品

    公开(公告)号:CN119227757A

    公开(公告)日:2024-12-31

    申请号:CN202411752106.7

    申请日:2024-12-02

    Abstract: 本申请实施例提供了一种模型压缩方法、装置、电子设备、存储介质及产品,涉及深度学习技术领域,方法包括:针对同一输入数据,分别利用待压缩模型和量化模型进行处理;计算待压缩模型与量化模型的输出数据之间的差异,作为量化模型对应的第一差异;按照第一差异对待压缩模型中每一网络层的量化参数进行调整;基于每一网络层的最优量化参数计算该网络层的连续域量化位宽;从需要部署模型的硬件平台所支持的各离散域量化位宽中,确定大于该网络层的连续域量化位宽且与该网络层的连续域量化位宽的差值最小的离散域量化位宽;从利用多个稀疏度组合分别进行压缩得到的各备选压缩模型中,确定对应的第二差异最小的目标压缩模型。可以提高模型的适用性。

Patent Agency Ranking