-
公开(公告)号:CN115983366A
公开(公告)日:2023-04-18
申请号:CN202211570645.X
申请日:2022-12-08
Applicant: 北京交通大学
IPC: G06N3/082 , G06N3/0464
Abstract: 本发明提供一种面向联邦学习的模型剪枝方法及系统,属于联邦学习技术领域,计算神经网络模型每层卷积层中的卷积核重要性指标,将重要性指标低于阈值的卷积核进行卷积核数目剪枝,计算剩余的卷积核内部每个向量的L1范数,基于预设的阈值对卷积核进行剪枝,完成卷积核尺寸剪枝,从而对卷积核尺寸进行降维。本发明实现了对冗余参数的充分裁剪,极大地提高了模型压缩效率;提出的动态阈值模型剪枝框架在每轮训练中动态调整剪枝范围,使得剪枝率的设置更为合理,并且对模型的敏感层和非敏感层以不同的压缩率进行动态剪枝,达到更好地控制剪枝过程中模型各部分剪枝力度、提高模型性能的目的,并且有利于恢复剪枝后模型的精度。