公开(公告)号：CN117114053B

公开(公告)日：2024-06-21

申请号：CN202311073117.8

申请日：2023-08-24

Applicant: 之江实验室

Inventor： 韩光洁 ,  陈建杭 ,  刁博宇 ,  李超 ,  郑新千

IPC: G06N3/0464 ,  G06V10/82 ,  G06V10/774

Abstract: 本发明公开了一种基于结构搜索和知识蒸馏的卷积神经网络模型压缩的方法和装置，包括以下步骤：获取目标任务数据集；从目标任务数据集划分出训练集，利用训练集对卷积神经网络模型进行训练；卷积神经网络模型完成训练后作为教师网络；利用神经结构搜索技术对卷积神经网络模型搜索出轻量化网络结构；将搜索得到的轻量化网络结构作为学生网络；进行知识蒸馏，计算教师网络和学生网络Softmax层输出的差异，将差异作为学生网络损失的一部分，对学生网络进行迭代训练直至收敛；输出知识蒸馏后的学生网络模型，即压缩完成的模型。本发明方法能有效减少模型冗余参数，实现自动对学生网络模型进行设计，适用于高效和自适应的模型压缩应用场景。

公开(公告)号：CN117114053A

公开(公告)日：2023-11-24

申请号：CN202311073117.8

申请日：2023-08-24

Applicant: 之江实验室

Inventor： 韩光洁 ,  陈建杭 ,  刁博宇 ,  李超 ,  郑新千

IPC: G06N3/0464 ,  G06V10/82 ,  G06V10/774

Abstract: 本发明公开了一种基于结构搜索和知识蒸馏的卷积神经网络模型压缩的方法和装置，包括以下步骤：获取目标任务数据集；从目标任务数据集划分出训练集，利用训练集对卷积神经网络模型进行训练；卷积神经网络模型完成训练后作为教师网络；利用神经结构搜索技术对卷积神经网络模型搜索出轻量化网络结构；将搜索得到的轻量化网络结构作为学生网络；进行知识蒸馏，计算教师网络和学生网络Softmax层输出的差异，将差异作为学生网络损失的一部分，对学生网络进行迭代训练直至收敛；输出知识蒸馏后的学生网络模型，即压缩完成的模型。本发明方法能有效减少模型冗余参数，实现自动对学生网络模型进行设计，适用于高效和自适应的模型压缩应用场景。