公开(公告)号：CN115511061A

公开(公告)日：2022-12-23

申请号：CN202211271813.5

申请日：2022-10-18

Applicant: 重庆邮电大学

Inventor： 谭钦红 ,  文洪伟 ,  黄俊

IPC: G06N3/04 ,  G06N3/08 ,  G06Q10/04 ,  G06Q50/20

Abstract: 本发明提供的基于YOLOv5模型的知识蒸馏方法，通过提取教师模型中的知识，并通过知识蒸馏框架提供的损失和学生模型原有损失一同训练学生模型，提高学生模型的检测精度。且进一步地，本发明还根据在知识蒸馏训练后期，教师模型中的知识反而会对学生模型训练产生干扰，在训练时通过逐渐减少匹配成功的先验框的方式，从而进一步提升了学生模型的检测精度。

公开(公告)号：CN115470902A

公开(公告)日：2022-12-13

申请号：CN202211271826.2

申请日：2022-10-18

Applicant: 重庆邮电大学

Inventor： 谭钦红 ,  文洪伟 ,  黄俊

IPC: G06N3/08

Abstract: 本发明提供的基于LSQ量化的知识蒸馏方法，通过LSQ算法量化模型，得到量化模型，并通过自学习初始化量化模型的权重、权重步长和激活步长，缓解了陷入量化感知训练陷入局部极小值。且进一步地，本发明还通过2阶段知识蒸馏算法训练模型。第1阶段只训练量化模型的权重和权重步长。第2阶段训练量化模型的权重和激活步长。从而进一步缓解了陷入量化感知训练陷入局部极小值。