公开(公告)号：CN111461212A

公开(公告)日：2020-07-28

申请号：CN202010243264.5

申请日：2020-03-31

Applicant: 中国科学院计算技术研究所

Inventor： 李超 ,  孙飞 ,  徐勇军 ,  许建荣

IPC: G06K9/62 ,  G06N3/08

Abstract: 本发明提供一种用于点云目标检测模型的压缩方法，具体包括:以原始的点云目标检测模型为教师模型获得学生模型；并用教师模型骨干网络输出的特征矩阵、分类网络输出的软极大值、回归网络输出的前景点生成的检测框分别用于协助训练学生模型的骨干网络、分类网络和回归网络。经本发明处理后的学生模型，其压缩的模型空间及运算量均大幅度小于原网络，保证了模型的压缩率，而对于学生网络的精度弱于教师网络的问题，本专利采用了知识蒸馏的思想，用教师模型辅助训练学生模型提高了学生模型的精度，使得最终提升后的学生模型可以有效的在小存储空间、低运算效率的边缘设备下运行，大大降低了模型对设备的硬件要求，降低了设备成本，提高了计算效率。

公开(公告)号：CN111461322B

公开(公告)日：2024-03-08

申请号：CN202010174807.2

申请日：2020-03-13

Applicant: 中国科学院计算技术研究所

Inventor： 许建荣 ,  徐勇军 ,  崔碧峰 ,  李超

IPC: G06N3/082 ,  G06N3/0495 ,  G06N3/0464

公开(公告)号：CN112906889A

公开(公告)日：2021-06-04

申请号：CN202110234699.8

申请日：2021-03-03

Applicant: 中国科学院计算技术研究所

Inventor： 李超 ,  许建荣 ,  徐勇军 ,  崔碧峰 ,  宫禄齐

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明实施例提供了一种用于压缩深度神经网络模型的方法和系统，该方法包括：S1、获取基线模型，所述基线模型是待压缩的深度神经网络模型；S2、对所述基线模型的至少部分卷积层中的多个卷积核分别基于其权重参数计算其有效性，确定无效的卷积核；S3、从所述基线模型中裁剪掉所确定的无效的卷积核；S4、对经裁剪后的模型进行微调或者重训练，得到压缩后的模型。本发明在对相应的卷积层进行剪枝的过程中，不用去分析该层的剪枝结果对灵敏度的影响，只关注最终的结果是否可以接受，因此本发明的方法更加简单，效率更高，尤其适合具有较多卷积层的深度卷积神经网络。

公开(公告)号：CN111461212B

公开(公告)日：2023-04-07

申请号：CN202010243264.5

申请日：2020-03-31

Applicant: 中国科学院计算技术研究所

Inventor： 李超 ,  孙飞 ,  徐勇军 ,  许建荣

IPC: G06V10/778 ,  G06V10/774 ,  G06V10/764 ,  G06V10/766 ,  G06V10/82 ,  G06N3/045 ,  G06N3/082 ,  G06N3/091 ,  G06N3/096

Abstract: 本发明提供一种用于点云目标检测模型的压缩方法，具体包括:以原始的点云目标检测模型为教师模型获得学生模型；并用教师模型骨干网络输出的特征矩阵、分类网络输出的软极大值、回归网络输出的前景点生成的检测框分别用于协助训练学生模型的骨干网络、分类网络和回归网络。经本发明处理后的学生模型，其压缩的模型空间及运算量均大幅度小于原网络，保证了模型的压缩率，而对于学生网络的精度弱于教师网络的问题，本专利采用了知识蒸馏的思想，用教师模型辅助训练学生模型提高了学生模型的精度，使得最终提升后的学生模型可以有效的在小存储空间、低运算效率的边缘设备下运行，大大降低了模型对设备的硬件要求，降低了设备成本，提高了计算效率。

公开(公告)号：CN111461322A

公开(公告)日：2020-07-28

申请号：CN202010174807.2

申请日：2020-03-13

Applicant: 中国科学院计算技术研究所

Inventor： 许建荣 ,  徐勇军 ,  崔碧峰 ,  李超

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明涉及一种深度神经网络模型压缩方法，包括如下步骤：1)通过标准神经网络训练流程完成对复杂模型的训练，获得原始模型；2)按照下述公式之一利用结构化剪枝和非结构化剪枝对所述原始模型进行剪枝：{(s，st，u，ut)*(n-1)，(s，st，u)}或者{(u，ut，s，st)*(n-1)，(u，ut，s)}；其中，s：结构化剪枝；st：结构化剪枝重训练；u：非结构化剪枝；ut：非结构化剪枝重训练；(s，st，u，ut)*(n-1)表示将(s，st，u，ut)按照所述顺序重复n-1次，(u，ut，s，st)*(n-1)表示将(u，ut，s，st)按照所述顺序重复n-1次，其中n大于等于1；3)对步骤2)经过剪枝获得的模型进行训练。

公开(公告)号：CN113033764A

公开(公告)日：2021-06-25

申请号：CN202010282701.4

申请日：2020-04-12

Applicant: 北京工业大学 ,  中国科学院计算技术研究所

Inventor： 崔碧峰 ,  许建荣 ,  李超 ,  徐勇军

IPC: G06N3/04 ,  G06N3/08

Abstract: 本发明公开了基于高斯分布特征的深层卷积神经网络压缩加速方法，适用于深度神经网络模型的压缩。首先训练好一个原始的卷积神经网络，然后逐层对该网络进行高斯分析，根据分析的结果选择保留还是删除的卷积核，之后进训练，直到模型剪枝完成。本发明在进行压缩剪枝过程中，采用的技术方案是根据分布收敛特征进行剪枝，在压缩的过程中没有引入其他的剪枝约束超参数，因此压缩的过程是自动化搜索的。本发明的压缩结果是直接压缩出更小的模型，没有引入mask对权重进行操作，压缩的结果可以不依赖于相关的加速库而直接产生加速效果，始终让模型的性能保证在原来的基础上，即没有出现任何的精度损失下进行的。