公开(公告)号：CN113159173B

公开(公告)日：2024-04-26

申请号：CN202110427314.X

申请日：2021-04-20

Applicant: 北京邮电大学

Inventor： 姜竹青 ,  周兆京 ,  门爱东 ,  王海婴

IPC: G06V10/774 ,  G06N3/0464 ,  G06N3/082

Abstract: 本发明涉及一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法。该方法包括：获取图像训练集A；获取目标网络模型，对其包含的每个通道引入缩放因子γ；对目标网络模型进行训练，将训练后的模型作为教师网络；按照缩放因子γ的绝对值大小对教师网络的通道数剪枝，将剪枝后的模型视为学生网络；获取图像训练集A中少量图像，同时输入教师、学生网络，分别计算教师、学生网络各卷积层通道输出的特征图之间的分布差异；将分布差异作为损失函数，对学生网络进行训练，使其模型精度快速恢复至教师网络的水平；输出训练后的学生网络。本发明具有压缩率高、快速恢复压缩模型精度的优势，从而便于网络模型在终端设备上的部署。

公开(公告)号：CN113159173A

公开(公告)日：2021-07-23

申请号：CN202110427314.X

申请日：2021-04-20

Applicant: 北京邮电大学

Inventor： 姜竹青 ,  周兆京 ,  门爱东 ,  王海婴

IPC: G06K9/62 ,  G06N3/04

Abstract: 本发明涉及一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法。该方法包括：获取图像训练集A；获取目标网络模型，对其包含的每个通道引入缩放因子γ；对目标网络模型进行训练，将训练后的模型作为教师网络；按照缩放因子γ的绝对值大小对教师网络的通道数剪枝，将剪枝后的模型视为学生网络；获取图像训练集A中少量图像，同时输入教师、学生网络，分别计算教师、学生网络各卷积层通道输出的特征图之间的分布差异；将分布差异作为损失函数，对学生网络进行训练，使其模型精度快速恢复至教师网络的水平；输出训练后的学生网络。本发明具有压缩率高、快速恢复压缩模型精度的优势，从而便于网络模型在终端设备上的部署。