一种基于参数量化的深度神经网络模型压缩方法及装置

    公开(公告)号:CN119904729A

    公开(公告)日:2025-04-29

    申请号:CN202411957282.4

    申请日:2024-12-30

    Applicant: 河海大学

    Abstract: 本发明公开了一种基于参数量化的深度神经网络模型压缩方法及装置。所述方法通过对预训练模型利用训练集进行微调,利用重要性评估样本集合数据记录权重梯度绝对值,区分高、低重要性权重;迭代量化高重要性权重,重新训练低重要性权重并更新权重重要性,使用二值掩码标识重要性,直至量化完成;其中量化操作采用就近二次幂技术,映射权重至非均匀二次幂网格;最终保存量化后的深度神经网络模型。本发明通过精确的参数选择和量化策略,实现了模型体积的有效压缩,并确保了模型在边缘设备上的高效部署,为深度学习技术在资源受限环境中的应用提供了重要支持。

Patent Agency Ranking