公开(公告)号：CN118378672A

公开(公告)日：2024-07-23

申请号：CN202410793310.7

申请日：2024-06-19

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  胡佳伟 ,  钟云山 ,  黄有 ,  张玉鑫

IPC: G06N3/0495 ,  G06N3/0464 ,  G06N3/09 ,  G06V10/764 ,  G06V10/26 ,  G06V10/82

Abstract: 本发明提供一种快速量化视觉自注意力模型的方法，涉及人工神经网络的压缩与加速。本发明提出激活值量化误差减少策略，将激活值的量化误差减少问题建模为岭回归，通过解析解得到权重的调整值；同时，本发明提出模型权重量化误差减少策略，通过重置舍入方式得到权重的量化参数、通过岭回归建模的方式得到剩余权重的调整值。本方法充分利用权重和激活值二者的关系，可以快速确定与激活值、权重适配的量化参数，得到量化模型，极大提升量化模型的性能表现。

公开(公告)号：CN117172293A

公开(公告)日：2023-12-05

申请号：CN202311122615.7

申请日：2023-09-01

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  林志航 ,  张玉鑫 ,  晁飞

IPC: G06N3/0495 ,  G06N3/082 ,  G06V40/10 ,  G06V10/82

Abstract: 用于N:M稀疏微调的自适应蒸馏方法，涉及人工神经网络的压缩与加速。包括以下几个步骤：1)使用基于权重大小的N:M剪枝方案剪枝预训练模型。2)利用自适应知识蒸馏将预训练模型中的知识迁移到N:M稀疏模型中，其中自适应知识蒸馏可以根据学生模型特征图和教师模型特征图中激活值的差异，自动将学生特征图中差异较大的激活值替换成教师特征图中的激活值，来减少学生模型学习的难度，加快学生模型微调的收敛速度。可以通过使用提出的自适应知识蒸馏方法来加快预训练模型的N:M稀疏微调，并且降低由N:M稀疏带来的精度损失。

公开(公告)号：CN111681263B

公开(公告)日：2022-05-03

申请号：CN202010451026.3

申请日：2020-05-25

Applicant: 厦门大学

Inventor： 曲延云 ,  张玉鑫

IPC: G06T7/246 ,  G06N3/04 ,  G06N3/08

Abstract: 基于三值量化的多尺度对抗性目标跟踪算法，涉及图像处理。通过对对抗性目标跟踪算法VITAL进行改进，对预训练的卷积神经网络进行修改，增加其深度的同时对其进行三值量化处理，通过反向传播训练进行微调，在跟踪过程中，采用多尺度投票方式，将多尺度跟踪结果进行融合，进而实现在保证跟踪精度的同时极大压缩模型大小并加快跟踪速度的新型高效跟踪框架；在保证跟踪效果的同时，极大压缩了追踪器模型大小与计算速度，解决了目标追踪不能较好的迁移到移动设备上的痛点；有效解决了目标跟踪任务中的尺度变换问题，使得追踪结果更具有鲁棒性与准确性；在达到与现有的其他目标跟踪方法相当的跟踪性能的基础上，可以达到移动设备的负载要求。

公开(公告)号：CN119445288A

公开(公告)日：2025-02-14

申请号：CN202411556564.3

申请日：2024-11-04

Applicant: 厦门大学

Inventor： 曹刘娟 ,  谢晶晶 ,  张玉鑫 ,  纪荣嵘

IPC: G06V10/774 ,  G06V10/764 ,  G06V10/44 ,  G06V10/52 ,  G06V10/80 ,  G06V10/86

Abstract: 本发明公开了一种预训练的视觉语言模型的少样本微调方法、装置及可读介质，包括：构建微调数据集、构建预训练的视觉语言模型以及特征对齐模块和局部缓存模块，预训练的视觉语言模型包括图像编码器、文本编码器和特征聚合模块；基于微调数据集并通过特征对齐模块和局部缓存模块对预训练的视觉语言模型进行微调，得到对比预训练的视觉语言模型和最后一次更新后的存储矩阵。先通过特征对比模块将全局特征和局部特征转换到文本嵌入空间，通过局部缓存模块封装从图像分支的局部特征中提取细粒度的语义信息，之后这些细粒度的语义信息会与相应的文本嵌入进行拼接，随后通过特征聚合模块融合全局和局部信息，以增强文本分支的表示能力。

公开(公告)号：CN119025640A

公开(公告)日：2024-11-26

申请号：CN202411039887.5

申请日：2024-07-31

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  黄伟中 ,  张玉鑫 ,  郑侠武

IPC: G06F16/332 ,  G06F18/2136 ,  G06F18/214

Abstract: 本发明涉及一种基于参数高效微调的大语言模型稀疏方法及对话生成方法，其根据权重重要性度量同时稀疏LLM和低秩矩阵，保证二者具有相同的稀疏掩码，在微调之后能够合并。在每次迭代中根据互信息指标确定每一层的重要性，在保持平均稀疏率不变的情况下，为较重要的层设置较低的稀疏率，较不重要的层设置较高的稀疏率。在微调过程中计算稀疏LLM每一层的重建误差，在微调参数预算约束下，为具有较大重建误差的层分配较多的微调参数，即分配较大的秩，重建误差较小的层分配较小的秩。因此，本发明能够在高稀疏配置下显著提高大语言模型的性能。

公开(公告)号：CN113837377A

公开(公告)日：2021-12-24

申请号：CN202111005877.6

申请日：2021-08-30

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  张玉鑫

IPC: G06N3/08 ,  G06K9/62

Abstract: 基于类别掩码的神经网络剪枝方法，涉及人工神经网络的压缩与加速。通过对不同通道激活的特征图的深入可视化，观察到不同通道对图像分类中不同类别的贡献不同。选择保留有助于大多数类别的渠道。具体来说，为模拟每个通道对差异类别的贡献，为每个通道分配一个类别掩码，从而得到每个通道对不同类识别的贡献。包括以下步骤：1)为神经网络中每一个通道分配一个类别掩码，其维度等于数据集图像类别数；2)基于输入图像的类别激活相应的掩码来进行训练网络；3)基于训练后的类别掩码进行全局投票，剪枝分数较小的通道；4)对保留下来的卷积核继续进行训练，得到最终的剪枝网络。性能优异且紧凑，具有较好的可解释性。