公开(公告)号：CN112734025B

公开(公告)日：2023-07-21

申请号：CN201911028209.8

申请日：2019-10-28

Applicant: 复旦大学

Inventor： 杨帆 ,  苏仰锋 ,  曾璇 ,  文玮婧

IPC: G06N3/082 ,  G06N3/0464

Abstract: 本发明属于人工智能领域，涉及一种基于固定基正则化的神经网络参数稀疏化方法；该方法通过将卷积神经网络中大量卷积核和权重参数分解为多组低秩的固定基的表达形式，并对固定基选择折叠处理，调节低秩参数，在网络模型预训练后，结合固定基部分参数正则化和部分剪枝算法，后期少数步骤进行稀疏化训练。所述方法可用于图片识别分类的应用，通过固定基表示大量网络参数，便于硬件平台的实现的同时降低了计算的复杂度；与现在已经提出的神经网络稀疏化算法相比，所述方法可以在达到同一精度或者更高精度的同时，实现更高的网络稀疏度，大大的减少了参数存储，减少网络训练的时间并提升卷积神经网络在图像分类领域的应用效率。

公开(公告)号：CN112734025A

公开(公告)日：2021-04-30

申请号：CN201911028209.8

申请日：2019-10-28

Applicant: 复旦大学

Inventor： 杨帆 ,  苏仰锋 ,  曾璇 ,  文玮婧

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明属于人工智能领域，涉及一种基于固定基正则化的神经网络参数稀疏化方法；该方法通过将卷积神经网络中大量卷积核和权重参数分解为多组低秩的固定基的表达形式，并对固定基选择折叠处理，调节低秩参数，在网络模型预训练后，结合固定基部分参数正则化和部分剪枝算法，后期少数步骤进行稀疏化训练。所述方法可用于图片识别分类的应用，通过固定基表示大量网络参数，便于硬件平台的实现的同时降低了计算的复杂度；与现在已经提出的神经网络稀疏化算法相比，所述方法可以在达到同一精度或者更高精度的同时，实现更高的网络稀疏度，大大的减少了参数存储，减少网络训练的时间并提升卷积神经网络在图像分类领域的应用效率。