神经网络优化方法、装置、电子设备及可读存储介质

    公开(公告)号:CN112884123A

    公开(公告)日:2021-06-01

    申请号:CN202110204808.1

    申请日:2021-02-23

    Abstract: 本申请提供一种神经网络优化方法、装置、电子设备及可读存储介质,该神经网络优化方法包括:对待优化神经网络进行子网划分,并依据预设融合规则以及融合目标分别对各子网进行网络层layer融合,得到各子网的最优融合结果;依据各子网的最优融合结果、所述预设融合规则以及融合目标,对所述待优化神经网络进行layer融合,得到所述待优化神经网络的最优融合结果。该方法可以在保证得到满足预设融合规则以及融合目标的情况下的最优融合结果的情况下,提高确定待优化神经网络的最优融合结果的效率。

    目标检测方法、装置及存储介质

    公开(公告)号:CN111783797A

    公开(公告)日:2020-10-16

    申请号:CN202010610242.8

    申请日:2020-06-30

    Abstract: 本发明实施例提供一种目标检测方法、装置及存储介质,通过对待检测图像进行特征提取和特征融合,得到多张不同尺度的第一特征图,分别对多张不同尺度的第一特征图进行目标检测,得到第一目标检测结果。通过对第一目标检测结果中的各目标框对应的类别分数信息进行修正,得到修正后的第二目标检测结果。再对第二目标检测结果中的各目标框进行非极大值抑制,确定最终的目标检测结果。上述方法可有效降低相近类别之间的误检,提高目标检测的准确性。

    目标检测模型的训练方法、装置和存储介质

    公开(公告)号:CN111753870A

    公开(公告)日:2020-10-09

    申请号:CN202010298486.7

    申请日:2020-04-16

    Abstract: 本申请实施例提出了一种目标检测模型的训练方法、装置和存储介质,其中,上述方法包括:获取训练样本;将所述训练样本输入至预置目标检测模型进行训练,得到第一梯度;根据预置第一区间数对所述第一梯度进行不均匀划分,得到第一区间集合,并根据所述第一区间集合内的每个区间的样本数获得所述每个区间的第一梯度密度,其中,所述第一区间集合包括多个不均匀的区间;根据所述第一梯度密度对所述预置目标检测模型继续进行训练,得到训练后的目标检测模型。本申请通过对训练样本的梯度进行不均匀划分,可以有效解决训练样本不均衡问题,从而可以提高模型的检测性能。

    基于模型量化的任务处理方法、装置、设备及存储介质

    公开(公告)号:CN119647530A

    公开(公告)日:2025-03-18

    申请号:CN202411708331.0

    申请日:2022-09-27

    Abstract: 本申请提供一种基于模型量化的任务处理方法、装置、设备及存储介质,该基于模型量化的任务处理方法包括:依据Transformer模型中优化单元的第一量化输出和第一浮点输出之间的差异,对优化单元的权重量化系数和激活量化系数进行更新;依据优化单元的第二量化输出和第二浮点输出之间的差异,对优化单元的权重量化增量进行更新;依据目标量化系数对优化单元的权重参数进行量化,并依据目标权重量化增量确定优化单元的权重量化取整方向;依据优化单元的目标量化权重参数对优化单元的输入数据进行前向推理计算,并依据优化单元的目标激活量化系数对优化单元的输入/输出进行量化。该方法可以提升任务处理的准确性。

    基于大模型的推理方法及相关设备

    公开(公告)号:CN119358691A

    公开(公告)日:2025-01-24

    申请号:CN202411909532.7

    申请日:2024-12-24

    Abstract: 本申请公开了一种基于大模型的推理方法及相关设备,涉及人工智能技术领域,包括:响应于推理指令,获取场景图片数据,基于预设大语言模型相应粒度的量化方式,对所述场景图片数据执行量化操作,得到目标图像数据,基于更改部署方式后的所述预设大语言模型的推理量化流程,对所述目标图像数据进行推理量化,得到推理量化结果,其中,所述更改部署方式后所对应的推理量化流程比更改部署方式前推理量化流程的计算量更小。本申请使用计算量更小的推理量化流程所对应的部署方式部署预设大语言模型,减少推理量化过程中的计算量,提高推理效率。

    大规模预训练模型压缩及图像数据处理方法、装置

    公开(公告)号:CN118747514A

    公开(公告)日:2024-10-08

    申请号:CN202411222893.4

    申请日:2024-09-02

    Abstract: 本申请实施例提供了大规模预训练模型压缩及图像数据处理方法、装置,按照训练后的大规模预训练模型的权重、预设稀疏度及预设秩构建权重约束条件、稀疏度约束条件和秩约束条件,利用构建的上述权重约束条件、稀疏度约束条件和秩约束条件将权重压缩为低秩部分及非结构化稀疏部分,得到压缩后的大规模预训练模型。通过联合非结构化稀疏和低秩分解方法对大规模预训练模型权重进行压缩,减少了压缩的计算量,提高了模型压缩率。

    神经网络优化方法、装置、电子设备及可读存储介质

    公开(公告)号:CN112884123B

    公开(公告)日:2024-03-01

    申请号:CN202110204808.1

    申请日:2021-02-23

    Abstract: 本申请提供一种神经网络优化方法、装置、电子设备及可读存储介质,该神经网络优化方法包括:对待优化神经网络进行子网划分,并依据预设融合规则以及融合目标分别对各子网进行网络层layer融合,得到各子网的最优融合结果;依据各子网的最优融合结果、所述预设融合规则以及融合目标,对所述待优化神经网络进行layer融合,得到所述待优化神经网络的最优融合结果。该方法可以在保证得到满足预设融合规则以及融合目标的情况下的最优融合结果的情况下,提高确定待优化神经网络的最优融合结果的效率。

    一种视频帧融合方法、装置、电子设备

    公开(公告)号:CN111754544A

    公开(公告)日:2020-10-09

    申请号:CN201910251735.4

    申请日:2019-03-29

    Abstract: 本发明实施例提供了一种视频帧融合方法、装置、电子设备,方法包括:获取待融合视频中的第一视频帧和第二视频帧,第一视频帧为待融合的视频帧,第二视频帧与第一视频帧相差帧数不超过预设帧数;基于第一视频帧和第二视频帧,确定目标物体的移动速度;根据移动速度,以及预设的移动速度与融合帧数的对应关系,确定与第一视频帧进行融合的视频帧的融合帧数;确定与第一视频帧相邻的融合帧数个第三视频帧;对第一视频帧和融合帧数个第三视频帧进行视频帧融合,得到融合后的第一视频帧。相比于现有的采用统一的融合帧数进行视频帧融合的方法,提高了融合后视频帧中目标物体的显示效果,便于后续的目标检测或目标分析等过程。

    一种自注意力机制计算方法、推理方法

    公开(公告)号:CN118396039B

    公开(公告)日:2024-08-27

    申请号:CN202410852330.7

    申请日:2024-06-27

    Abstract: 本申请实施例提供了一种自注意力机制计算方法、推理方法,该方法包括:基于待处理对象确定查询矩阵、键矩阵、以及值矩阵;待处理对象包括图像、文本、视频、音频、信号中的任一种或多种;并计算查询矩阵与转置后键矩阵的乘积,作为第一乘积矩阵;以自然常数e为底数,并以第一乘积矩阵为指数,得到第二乘积矩阵;若值矩阵的列数小于第一乘积矩阵的列数,计算第二乘积矩阵与值矩阵的乘积,作为第三乘积矩阵;计算第二乘积矩阵的和值,作为矩阵和值;并计算第三乘积矩阵与矩阵和值的比值,作为基于自注意力机制得到的输出特征。应用本申请实施例提供的技术方案,能够提高基于自注意力机制的推理任务的效率。

Patent Agency Ranking