一种利用分块循环矩阵的神经网络压缩方法

    公开(公告)号:CN111047038A

    公开(公告)日:2020-04-21

    申请号:CN201911084979.4

    申请日:2019-11-08

    Applicant: 南昌大学

    Inventor: 杨宇钢 胡凌燕

    Abstract: 本发明公开了一种利用分块循环矩阵的神经网络压缩方法,涉及神经网络压缩方法领域,通过读取神经网络中最长基础随机符号向量,在神经网络的每层生成与该层输入维度相等的符号向量并与输入向量元素相乘得到新的输入向量,并训练构成新的块循环网络,存储最长基础随机符号向量和神经网络模型参数;采用细粒度的神经网络压缩方法对模型进行剪枝,进一步降低模型复杂度。通过引入随机符号向量,减少投影向量之间的相关性,从而保证模型的收敛,达到有效减少存储和带宽的目的。同时,避免了处理分块循环矩阵压缩神经网络时,由于分块大小增大而引起的性能下降的问题。

Patent Agency Ranking