公开(公告)号：CN113112020B

公开(公告)日：2022-06-28

申请号：CN202110320646.8

申请日：2021-03-25

Applicant: 厦门大学

Inventor： 曾一锋 ,  林晓晴 ,  杨帆

IPC: G06N5/02

Abstract: 本发明公开了一种基于生成网络与知识蒸馏的模型网络提取和压缩方法，包括如下步骤：利用训练好的教师网络训练生成网络的损失函数，得到训练好的生成网络；根据生成网络生成多张生成图片；将生成图片输入到训练好的教师网络和学生网络，对学生网络进行知识蒸馏；更新学生网络；本发明提供的方法在面对一个大型网络的时候，能够根据任务的不同只学习到大型网络中特定类别的分类知识，迁移到更小的网络中。同时本发明的方法可以更少地依赖数据本身，在无数据的情况下进行知识蒸馏，减少了原始的知识蒸馏对于真实数据的依赖。

公开(公告)号：CN113112020A

公开(公告)日：2021-07-13

申请号：CN202110320646.8

申请日：2021-03-25

Applicant: 厦门大学

Inventor： 曾一锋 ,  林晓晴 ,  杨帆

IPC: G06N5/02

Abstract: 本发明公开了一种基于生成网络与知识蒸馏的模型网络提取和压缩方法，包括如下步骤：利用训练好的教师网络训练生成网络的损失函数，得到训练好的生成网络；根据生成网络生成多张生成图片；将生成图片输入到训练好的教师网络和学生网络，对学生网络进行知识蒸馏；更新学生网络；本发明提供的方法在面对一个大型网络的时候，能够根据任务的不同只学习到大型网络中特定类别的分类知识，迁移到更小的网络中。同时本发明的方法可以更少地依赖数据本身，在无数据的情况下进行知识蒸馏，减少了原始的知识蒸馏对于真实数据的依赖。