-
公开(公告)号：CN118095363A
公开(公告)日：2024-05-28
申请号：CN202410173505.1
申请日：2024-02-07
Applicant: 北京工业大学
IPC: G06N3/0464 , G06N3/09
Abstract: 本发明公开了一种基于信息熵度量的混合精度量化方法，在训练集上对深度神经网络进行浮点精度训练，训练后通过浮点‑整型变换公式在模型上进行整型精度量化，获取整型模型；将评价集输入整型模型中进行前向推理，并计算每层输出特征图的信息熵作为该层的量化代价；提出了信息熵驱动的量化代价计算方法，对网络中所有层的量化代价进行排序，将量化代价较低的层记为需要降低位宽精度的层；根据硬件感知的量化位宽优化策略获取最优混合精度配置；进行再训练并保存在测试集上性能最优的混合精度量化模型。本发明利用了信息熵能够度量特征图信息复杂性的特点，在搜索最优混合精度配置时充分考虑中间特征的影响，从而有效提升混合精度模型的泛化能力。
Search Results
1
records
(took 0.014 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
