公开(公告)号：CN114429209B

公开(公告)日：2024-08-20

申请号：CN202210101357.3

申请日：2022-01-27

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  钟云山

IPC: G06N3/082 ,  G06N3/063 ,  G06N3/0495 ,  G06N3/0464 ,  G06N3/045 ,  G06V10/764 ,  G06V10/82

Abstract: 基于细粒度数据分布对齐的神经网络后训练量化方法，涉及人工神经网络压缩与加速。1)计算校准数据集中每张图在预训练的全精度网络每一层的BN参数，得每个类别的代表BN参数；2)量化预训练的全精度网络得量化网络；3)生成器接受高斯噪声和随机选择的标签生成指定类别的图片，使用交叉熵损失、BN损失、代表BN损、扰动代表BN损失训练训练生成器；4)利用生成器生成的图片和校准数据集图片，使用蒸馏损失、交叉熵损失训练量化网络；5)循环2)～4)至达到预定的训练轮数；6)保留量化网络权重，即得量化后的量化网络。只需少量数据的校准数据集，可从头训练得量化网络，无需特定硬件支持，在通用硬件平台上实现网络压缩与加速。

公开(公告)号：CN118378672A

公开(公告)日：2024-07-23

申请号：CN202410793310.7

申请日：2024-06-19

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  胡佳伟 ,  钟云山 ,  黄有 ,  张玉鑫

IPC: G06N3/0495 ,  G06N3/0464 ,  G06N3/09 ,  G06V10/764 ,  G06V10/26 ,  G06V10/82

Abstract: 本发明提供一种快速量化视觉自注意力模型的方法，涉及人工神经网络的压缩与加速。本发明提出激活值量化误差减少策略，将激活值的量化误差减少问题建模为岭回归，通过解析解得到权重的调整值；同时，本发明提出模型权重量化误差减少策略，通过重置舍入方式得到权重的量化参数、通过岭回归建模的方式得到剩余权重的调整值。本方法充分利用权重和激活值二者的关系，可以快速确定与激活值、权重适配的量化参数，得到量化模型，极大提升量化模型的性能表现。

公开(公告)号：CN117172301A

公开(公告)日：2023-12-05

申请号：CN202311128731.X

申请日：2023-09-04

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  钟云山 ,  谢晶晶 ,  林明宝

IPC: G06N3/082 ,  G06N3/0464 ,  G06F18/23213 ,  G06T3/40

Abstract: 一种适用于超分网络的分布灵活子集量化方法，涉及人工神经网络的压缩与加速。1)使用L1损失、结构转移损失预训练一个全精度的超分网络；2)统计全精度超分神经网络每一层激活值的分布；3)每层激活值分布进行归一化处理；4)进行k‑means聚类得到量化点，并对激活值进行子集量化。可应用于在图像超分领域上的卷积神经网络，本方法既思想简单，同时节省计算开销，且大大提高性能，同时性能超过各种主流的后训练量化方法，当比特位越低现象越明显。提出利用kmeans实现快速量化点选择。只需要应用本发明设计的量化器，可直接以后训练的方式得到量化模型，开销更小同时性能更高。