一种基于卷积层相对信息熵的神经网络剪枝子网搜索方法

    公开(公告)号:CN116861985A

    公开(公告)日:2023-10-10

    申请号:CN202310796834.7

    申请日:2023-06-29

    Abstract: 本方案公开了一种基于卷积层相对信息熵的神经网络剪枝子网搜索方法,该方法创新地利用了模型权重的信息熵来对不同卷积层的冗余度进行比较,各卷积层基于冗余程度的不同进行区别对待,冗余程度低的层剪枝时保留相对较大比例,而冗余度高的层剪枝时保留相对较小比例,使通过本方案得到的子网络具有更佳的网络性能,能够适用于任意比例范围(0~1之间)的神经网络剪枝需求,可以根据设定的剪枝保留比例需求,搜索大量符合要求的子网络,并利用有效的自适应批量归一化评估器从中选出最优子网络。

Patent Agency Ranking