公开(公告)号：CN118333108A

公开(公告)日：2024-07-12

申请号：CN202410471048.4

申请日：2024-04-18

Applicant: 北京交通大学

Inventor： 王东 ,  张冰倩 ,  阎之泓

IPC: G06N3/0464 ,  G06N3/08

Abstract: 本发明提供了一种用于卷积神经网络输入激活值4比特量化的方法。该方法包括：加载原始4‑8混合比特位宽量化后的卷积神经网络模型权重，修改需进行4比特量化层的模型权重结构，对卷积神经网络的输入激活值利用本发明进行4比特量化，然后将量化后的4比特输入激活值进行反量化。该方法保证了卷积神经网络输入激活值量化为4比特的情况下，精度相对于原混合比特位宽量化后的卷积神经网络的精度损失可忽略不计。使用本发明的量化方法量化神经网络模型输入激活值更适应于硬件的移位计算方式，能够部署在相应硬件上来充分发挥量化神经网络的计算优势。

公开(公告)号：CN118333108B

公开(公告)日：2025-03-21

申请号：CN202410471048.4

申请日：2024-04-18

Applicant: 北京交通大学

Inventor： 王东 ,  张冰倩 ,  阎之泓

IPC: G06N3/0464 ,  G06N3/08

Abstract: 本发明提供了一种用于卷积神经网络输入激活值4比特量化的方法。该方法包括：加载原始4‑8混合比特位宽量化后的卷积神经网络模型权重，修改需进行4比特量化层的模型权重结构，对卷积神经网络的输入激活值利用本发明进行4比特量化，然后将量化后的4比特输入激活值进行反量化。该方法保证了卷积神经网络输入激活值量化为4比特的情况下，精度相对于原混合比特位宽量化后的卷积神经网络的精度损失可忽略不计。使用本发明的量化方法量化神经网络模型输入激活值更适应于硬件的移位计算方式，能够部署在相应硬件上来充分发挥量化神经网络的计算优势。