公开(公告)号：CN117454944A

公开(公告)日：2024-01-26

申请号：CN202311550235.3

申请日：2023-11-20

Applicant: 清华大学

Inventor： 程大宁 ,  陈文光 ,  俞博文

IPC: G06N3/0495

Abstract: 提供分层确定量化神经网络模型的量化模式的方法、系统、电子设备和非暂时存储介质。该方法包括：按神经网络模型的层为单位、利用多个量化模式中的一个量化模式来量化神经网络模型的一层的输入向量和该层的权重参数，其中所述神经网络模型是利用第一数据集训练来得到的；利用第二数据集推理得到量化所述层的所述一个量化模式导致的所述神经网络模型的损失函数的所述层的变化量；如果确定所述变化量为负，则确定所述一个量化模式作为量化所述层的量化模式。

公开(公告)号：CN117474052A

公开(公告)日：2024-01-30

申请号：CN202311552606.1

申请日：2023-11-20

Applicant: 清华大学

Inventor： 程大宁 ,  陈文光 ,  俞博文

IPC: G06N3/0495

Abstract: 提供分层确定量化神经网络模型的量化模式的方法、系统、电子设备和非暂时存储介质。方法包括按神经网络模型的层为单位利用多个量化模式中的第j种量化模式来量化神经网络模型的第i层的输入向量和该层的权重参数，其中所述神经网络模型是利用第一数据集训练来得到的，其中i，j是正整数；利用第二数据集推理得到影响矩阵P[i][j]，其中所述影响矩阵P[i][j]表示用来量化所述第i层的所述第j种量化模式对所述神经网络模型的损失函数的影响；求解在代价矩阵W[i][j]在所有层的总和小于代价限制的情况下、使得所述影响矩阵P[i][j]在所有层的总和最小的第j种量化模式作为第i层的量化所采用的量化模式，其中所述代价矩阵W[i][j]表示第j种量化模式作为第i层的量化所消耗的计算代价。