公开(公告)号：CN117350365A

公开(公告)日：2024-01-05

申请号：CN202311269007.9

申请日：2023-09-27

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 杨子伟 ,  杨绮明 ,  郑传杨 ,  李哲暘 ,  谭文明 ,  任烨

IPC: G06N3/096 ,  G06N3/0455 ,  G06N3/0464 ,  G06V10/82 ,  G06V10/44 ,  G06V10/762 ,  G06V10/764

Abstract: 本申请公开了一种模型蒸馏方法、装置、存储介质和电子设备，包括：利用通识模型对不同领域的存量数据样本进行识别；利用目标任务的训练样本集训练生成教师模型；利用通识模型对训练样本集中的训练样本进行识别；确定与训练样本语义相关的存量数据样本构成初筛样本集；为初筛样本集和训练样本集中的样本确定各实例的实例特征；在初筛样本集中选择其实例特征与训练样本的实例特征的相似程度在指定范围内的存量数据样本，构成搜索样本集；将搜索样本集和训练样本集作为蒸馏样本集，利用教师模型进行蒸馏训练，得到蒸馏后的学生模型。应用本申请，能够对训练样本域进行扩张，再基于扩张后多领域的样本进行蒸馏处理，从而提高模型在多场景的泛化能力。

公开(公告)号：CN115062765A

公开(公告)日：2022-09-16

申请号：CN202210709171.6

申请日：2022-06-21

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 杨绮明 ,  张凯 ,  任文奇 ,  李哲暘 ,  谭文明 ,  肖俊

IPC: G06N3/04 ,  G06N3/08 ,  G06N5/04

Abstract: 本申请提供一种任务处理方法、装置、电子设备及存储介质，该方法包括：在对Transformer模型进行训练的过程中，对于Transformer模型中的任一归一化层，确定该归一化层当前批次的第一统计值，依据该第一统计值以及该归一化层历史批次的统计值，利用滑动平均策略，对该第一统计值进行平滑处理，得到第二统计值，并利用将该归一化层的第二统计值进行前向或反向传播；在利用训练好的Transformer模型进行任务处理的过程中，对于Transformer模型中的任一归一化层，将该归一化层的统计值固定为第三统计值进行推理计算。该方法可以在降低Transformer模型的计算内存消耗的情况下，保证处理性能。

公开(公告)号：CN119830956A

公开(公告)日：2025-04-15

申请号：CN202411863753.5

申请日：2022-06-21

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 杨绮明 ,  张凯 ,  任文奇 ,  李哲暘 ,  谭文明 ,  肖俊

IPC: G06N3/0455 ,  G06N3/0499 ,  G06F9/48 ,  G06N3/084 ,  G06N5/04

Abstract: 本申请提供一种任务处理方法、装置、电子设备及存储介质，该方法包括：在对Transformer模型进行训练的过程中，对于Transformer模型中的任一归一化层，确定该归一化层当前批次的第一统计值，依据该第一统计值以及该归一化层历史批次的统计值，利用滑动平均策略，对该第一统计值进行平滑处理，得到第二统计值，并利用将该归一化层的第二统计值进行前向或反向传播；在利用训练好的Transformer模型进行任务处理的过程中，对于Transformer模型中的任一归一化层，将该归一化层的统计值固定为第三统计值进行推理计算。该方法可以在降低Transformer模型的计算内存消耗的情况下，保证处理性能。