公开(公告)号：CN112906889A

公开(公告)日：2021-06-04

申请号：CN202110234699.8

申请日：2021-03-03

Applicant: 中国科学院计算技术研究所

Inventor： 李超 ,  许建荣 ,  徐勇军 ,  崔碧峰 ,  宫禄齐

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明实施例提供了一种用于压缩深度神经网络模型的方法和系统，该方法包括：S1、获取基线模型，所述基线模型是待压缩的深度神经网络模型；S2、对所述基线模型的至少部分卷积层中的多个卷积核分别基于其权重参数计算其有效性，确定无效的卷积核；S3、从所述基线模型中裁剪掉所确定的无效的卷积核；S4、对经裁剪后的模型进行微调或者重训练，得到压缩后的模型。本发明在对相应的卷积层进行剪枝的过程中，不用去分析该层的剪枝结果对灵敏度的影响，只关注最终的结果是否可以接受，因此本发明的方法更加简单，效率更高，尤其适合具有较多卷积层的深度卷积神经网络。

公开(公告)号：CN111291836B

公开(公告)日：2023-09-08

申请号：CN202010243249.0

申请日：2020-03-31

Applicant: 中国科学院计算技术研究所

Inventor： 宫禄齐 ,  徐勇军 ,  李超

IPC: G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/082 ,  G06N3/084

Abstract: 本发明提供了一种生成学生网络模型的方法。所述方法包括下述步骤：步骤1)、获取预训练的教师网络模型；步骤2)、构建辅助网络模型；步骤3)、对所述辅助网络模型初始化，利用初始化的辅助网络模型生成学生网络；步骤4)、利用带有图像标签的训练图像对辅助网络进行训练。采用本发明的辅助网络能自动学习出学生网络的结构、神经元数目、卷积核数目。避免人工尝试，且本发明方法的自动学习结果的模型检测精度要比人工尝试方法精度更高。所需要的计算量呈指数级下降。

公开(公告)号：CN115661712A

公开(公告)日：2023-01-31

申请号：CN202211348871.3

申请日：2022-10-31

Applicant: 中国科学院计算技术研究所

Inventor： 戴凌飞 ,  刁博宇 ,  李超 ,  宫禄齐 ,  徐勇军

IPC: G06V20/40 ,  G06V20/56 ,  G06V10/26 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/082

Abstract: 本发明提出一种轻量级多任务视频流实时推理方法及系统，采用推理效率更高的目标检测模型作为检测基准模型，在其基础上增加可行驶区域分割头网络和多物体跟踪头网络来分别完成可行驶区域分割任务和多物体跟踪任务，通过共享主干网络和特征金字塔网络的方式减少参数量和计算量的冗余，通过级联知识蒸馏的端到端结构化迭代剪枝算法，进一步降低模型的计算量，有效提高了模型在边缘芯片硬件上的加速比，最终模型能够保证精度的同时在边缘端做到实时推理。

公开(公告)号：CN111291836A

公开(公告)日：2020-06-16

申请号：CN202010243249.0

申请日：2020-03-31

Applicant: 中国科学院计算技术研究所

Inventor： 宫禄齐 ,  徐勇军 ,  李超

IPC: G06K9/62 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明提供了一种生成学生网络模型的方法。所述方法包括下述步骤：步骤1)、获取预训练的教师网络模型；步骤2)、构建辅助网络模型；步骤3)、对所述辅助网络模型初始化，利用初始化的辅助网络模型生成学生网络；步骤4)、利用带有图像标签的训练图像对辅助网络进行训练。采用本发明的辅助网络能自动学习出学生网络的结构、神经元数目、卷积核数目。避免人工尝试，且本发明方法的自动学习结果的模型检测精度要比人工尝试方法精度更高。所需要的计算量呈指数级下降。