Patent search ap:("中国科学院信息工程研究所") AND inv:"王少璞" Page 1

1.

发明公开
一种基于相似度正则的神经网络剪枝方法审中-实审

公开(公告)号：CN115796262A

公开(公告)日：2023-03-14

申请号：CN202211440959.8

申请日：2022-11-17

Applicant: 中国科学院信息工程研究所

Inventor： 陈小军 , 王少璞 , 熊刚 , 赵振东 , 丁阳阳 , 李晓颖

IPC: G06N3/082 , G06F18/22

Abstract: 本发明公开了一种基于相似度正则的神经网络剪枝方法。本方法为：1)对待处理的神经网络进行预训练；2)对预训练后的神经网络进行剪枝：首先设定神经网络的稀疏度为s％；然后计算神经网络参数的第s分位数，将参数绝对值小于该第s分位数的参数全局置零，得掩码m；根据所得掩码m更新所述神经网络的权重矩阵w；3)对剪枝后的神经网络进行微调。本发明通过提高网络权重矩阵与0矩阵的余弦相似度来降低输出对输入的依赖，从而提高预测的鲁棒性，这样只有少部分输入参与最终的计算，而大部分输入都被抛弃；因此，不仅稀疏网络的预测性能获得了提升，神经网络也可以实现更高的稀疏度。

Patent Agency Ranking