公开(公告)号：CN118608793A

公开(公告)日：2024-09-06

申请号：CN202410693640.9

申请日：2024-05-31

Applicant: 南开大学

Inventor： 郑豪帅 ,  龚成 ,  李涛

IPC: G06V10/28 ,  G06V10/82 ,  G06N3/0464 ,  G06V10/774

Abstract: 本发明涉及计算机技术领域，具体公开了一种基于偏置补偿的神经网络量化误差凸优化方法，包括：在量化模型的每个量化层的输出上分别添加偏置补偿向量，所述偏置补偿向量为所述量化层的输出与所述量化层对应的原始浮点模型的浮点层的输出的差值，所述量化模型为所述原始浮点模型量化后的模型。本发明通过找到量化模型中每个量化层的输出的最优偏置补偿向量，并将该向量补偿到量化层输出中来最小化量化误差，将寻找最优的噪声矩阵这样一个非凸的问题转换为寻找最优的偏置补偿向量这样一个凸问题，能够很好地减小输出误差，并且本发明可以和许多现有的量化方法相结合，进一步提升量化后模型的精度，实现模型超低位宽的量化。

公开(公告)号：CN111768002A

公开(公告)日：2020-10-13

申请号：CN202010661226.1

申请日：2020-07-10

Applicant: 南开大学

Inventor： 龚成 ,  卢冶 ,  李涛

IPC: G06N3/08 ,  G06N3/063

Abstract: 本发明提供了一种基于弹性有效位的深度神经网络量化方法，将定点数或者浮点数量化为具有弹性有效位数的量化值，丢弃多余的尾数部分，并采用可行求解的方式来定量评价量化值与原始数据的分布差异。本发明具有弹性有效位的量化值，通过不同的有效位，量化值的分布可以覆盖从长尾到均匀的一系列钟形分布，适应DNNs的权值/激活分布，从而保证低的精度损失；乘法计算在硬件上可以由多次的移位加法实现，提升量化模型的整体效率；分布差异函数定量地估计不同量化方案带来的量化损失，可以在不同的条件下选择最优的量化方案，实现更低的量化损失，提升量化模型的精度。

公开(公告)号：CN114881148A

公开(公告)日：2022-08-09

申请号：CN202210507772.9

申请日：2022-05-11

Applicant: 南开大学

Inventor： 龚成 ,  李涛 ,  卢冶

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种基于特征重路由的多分类器优化方法，包括以下步骤：S1：构建MCN模型；S2：对于骨干网的每一层权值wi和输出的特征fi按比例参数τi拆分成；S3：MCN模型的前向传播Forward与反向传播Backward为：πi(·)表示该分类器的输出；表示被多个分类器共享的权值wi对应的多个分类器对其梯度的总和。本发明通过分拆多分类器共享的特征值来减少各个分类器的共享权值数量，从而避免学习冲突，同时通过复用不同分类器学习到的不同尺度的特征，提升MCN的性能；此外，基于特征重路由，MCN在训练过程中还可以降低反向传播计算复杂度，从而加速MCN的训练。

公开(公告)号：CN111768002B

公开(公告)日：2021-06-22

申请号：CN202010661226.1

申请日：2020-07-10

Applicant: 南开大学

Inventor： 龚成 ,  卢冶 ,  李涛

IPC: G06N3/08 ,  G06N3/063

Abstract: 本发明提供了一种基于弹性有效位的深度神经网络量化方法，将定点数或者浮点数量化为具有弹性有效位数的量化值，丢弃多余的尾数部分，并采用可行求解的方式来定量评价量化值与原始数据的分布差异。本发明具有弹性有效位的量化值，通过不同的有效位，量化值的分布可以覆盖从长尾到均匀的一系列钟形分布，适应DNNs的权值/激活分布，从而保证低的精度损失；乘法计算在硬件上可以由多次的移位加法实现，提升量化模型的整体效率；分布差异函数定量地估计不同量化方案带来的量化损失，可以在不同的条件下选择最优的量化方案，实现更低的量化损失，提升量化模型的精度。