公开(公告)号：CN114897164A

公开(公告)日：2022-08-12

申请号：CN202210615980.0

申请日：2022-05-31

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 郑传杨 ,  张凯 ,  任文奇 ,  李哲暘 ,  谭文明 ,  肖俊

IPC: G06N3/08 ,  G06N3/04 ,  G06V10/764 ,  G06V10/82

Abstract: 本申请提供一种神经网络模型裁剪方法、装置、电子设备及存储介质，该方法包括：依据待裁剪神经网络模型的结构特性，将所述待裁剪神经网络模型划分为多个结构分组；依据对所述待裁剪神经网络模型进行裁剪前后的损失函数变化，确定对所述多个结构分组中各结构分组进行裁剪的目标裁剪率；其中，所述损失函数变化依据第一因子和第二因子确定，所述第一因子用于表征各结构分组中各个权重的重要性，所述第二因子用于表征不同结构分组之间的相互作用；依据所述目标裁剪率，分别对各结构分组进行裁剪，得到裁剪后的神经网络模型。该方法可以在较小性能损失的情况下加速压缩神经网络模型。

公开(公告)号：CN119830982A

公开(公告)日：2025-04-15

申请号：CN202411865347.2

申请日：2022-05-31

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 郑传杨 ,  张凯 ,  任文奇 ,  李哲暘 ,  谭文明 ,  肖俊

IPC: G06N3/082 ,  G06N3/0464 ,  G06V10/82 ,  G06V10/764

Abstract: 本申请提供一种神经网络模型裁剪方法、装置、电子设备及存储介质，该方法包括：依据待裁剪神经网络模型的结构特性，将所述待裁剪神经网络模型划分为多个结构分组；依据对所述待裁剪神经网络模型进行裁剪前后的损失函数变化，确定对所述多个结构分组中各结构分组进行裁剪的目标裁剪率；其中，所述损失函数变化依据第一因子和第二因子确定，所述第一因子用于表征各结构分组中各个权重的重要性，所述第二因子用于表征不同结构分组之间的相互作用；依据所述目标裁剪率，分别对各结构分组进行裁剪，得到裁剪后的神经网络模型。该方法可以在较小性能损失的情况下加速压缩神经网络模型。

公开(公告)号：CN117350365A

公开(公告)日：2024-01-05

申请号：CN202311269007.9

申请日：2023-09-27

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 杨子伟 ,  杨绮明 ,  郑传杨 ,  李哲暘 ,  谭文明 ,  任烨

IPC: G06N3/096 ,  G06N3/0455 ,  G06N3/0464 ,  G06V10/82 ,  G06V10/44 ,  G06V10/762 ,  G06V10/764

Abstract: 本申请公开了一种模型蒸馏方法、装置、存储介质和电子设备，包括：利用通识模型对不同领域的存量数据样本进行识别；利用目标任务的训练样本集训练生成教师模型；利用通识模型对训练样本集中的训练样本进行识别；确定与训练样本语义相关的存量数据样本构成初筛样本集；为初筛样本集和训练样本集中的样本确定各实例的实例特征；在初筛样本集中选择其实例特征与训练样本的实例特征的相似程度在指定范围内的存量数据样本，构成搜索样本集；将搜索样本集和训练样本集作为蒸馏样本集，利用教师模型进行蒸馏训练，得到蒸馏后的学生模型。应用本申请，能够对训练样本域进行扩张，再基于扩张后多领域的样本进行蒸馏处理，从而提高模型在多场景的泛化能力。