公开(公告)号：CN118378672B

公开(公告)日：2024-11-08

申请号：CN202410793310.7

申请日：2024-06-19

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  胡佳伟 ,  钟云山 ,  黄有 ,  张玉鑫

IPC: G06N3/0495 ,  G06N3/0464 ,  G06N3/09 ,  G06V10/764 ,  G06V10/26 ,  G06V10/82

Abstract: 本发明提供一种快速量化视觉自注意力模型的方法，涉及人工神经网络的压缩与加速。本发明提出激活值量化误差减少策略，将激活值的量化误差减少问题建模为岭回归，通过解析解得到权重的调整值；同时，本发明提出模型权重量化误差减少策略，通过重置舍入方式得到权重的量化参数、通过岭回归建模的方式得到剩余权重的调整值。本方法充分利用权重和激活值二者的关系，可以快速确定与激活值、权重适配的量化参数，得到量化模型，极大提升量化模型的性能表现。

公开(公告)号：CN111681263A

公开(公告)日：2020-09-18

申请号：CN202010451026.3

申请日：2020-05-25

Applicant: 厦门大学

Inventor： 曲延云 ,  张玉鑫

IPC: G06T7/246 ,  G06N3/04 ,  G06N3/08

Abstract: 基于三值量化的多尺度对抗性目标跟踪算法，涉及图像处理。通过对对抗性目标跟踪算法VITAL进行改进，对预训练的卷积神经网络进行修改，增加其深度的同时对其进行三值量化处理，通过反向传播训练进行微调，在跟踪过程中，采用多尺度投票方式，将多尺度跟踪结果进行融合，进而实现在保证跟踪精度的同时极大压缩模型大小并加快跟踪速度的新型高效跟踪框架；在保证跟踪效果的同时，极大压缩了追踪器模型大小与计算速度，解决了目标追踪不能较好的迁移到移动设备上的痛点；有效解决了目标跟踪任务中的尺度变换问题，使得追踪结果更具有鲁棒性与准确性；在达到与现有的其他目标跟踪方法相当的跟踪性能的基础上，可以达到移动设备的负载要求。

公开(公告)号：CN117172293B

公开(公告)日：2025-05-13

申请号：CN202311122615.7

申请日：2023-09-01

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  林志航 ,  张玉鑫 ,  晁飞

IPC: G06N3/0495 ,  G06N3/082 ,  G06V40/10 ,  G06V10/82

Abstract: 用于N:M稀疏微调的自适应蒸馏方法，涉及人工神经网络的压缩与加速。包括以下几个步骤：1)使用基于权重大小的N:M剪枝方案剪枝预训练模型。2)利用自适应知识蒸馏将预训练模型中的知识迁移到N:M稀疏模型中，其中自适应知识蒸馏可以根据学生模型特征图和教师模型特征图中激活值的差异，自动将学生特征图中差异较大的激活值替换成教师特征图中的激活值，来减少学生模型学习的难度，加快学生模型微调的收敛速度。可以通过使用提出的自适应知识蒸馏方法来加快预训练模型的N:M稀疏微调，并且降低由N:M稀疏带来的精度损失。

公开(公告)号：CN119416849A

公开(公告)日：2025-02-11

申请号：CN202411277413.4

申请日：2024-09-12

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  杨晨艺 ,  聂文杰 ,  张玉鑫 ,  郑侠武

IPC: G06N3/082 ,  G06N3/0499 ,  G06N3/084

Abstract: 本发明公开了一种用于高效N_M稀疏训练的块感知掩码进化方法，涉及神经网络压缩与加速技术领域。所述方法包括：对于N：M稀疏模式，将权重向量划分为固定大小M的权重块；对于每个权重块分别计算权重指标，然后根据权重指标适应得到相应的二进制掩码；对每组权重块计算稀疏架构差异得到块感知分数，然后选取高频掩码块；组合二进制掩码与高频掩码块实现联合优化，得到新掩码，通过新掩码更新原始掩码以及进行剪枝和恢复权重，降低训练损失。本发明提供的一种用于高效N_M稀疏训练的块感知掩码进化方法，在整个训练过程中执行稀疏的前向和后向传播，大大减轻了训练成本。

公开(公告)号：CN119089967A

公开(公告)日：2024-12-06

申请号：CN202411002426.0

申请日：2024-07-25

Applicant: 厦门大学

Inventor： 曹刘娟 ,  谢晶晶 ,  张玉鑫 ,  林明宝 ,  纪荣嵘

IPC: G06N3/084 ,  G06N3/0495

Abstract: 本发明公开一种用于量化的多模态大模型的指令微调方法，包括：步骤1、量化感知的尺度学习；步骤2、用于尺度学习的多模态热身策略；步骤3、使用量化后的多模态大模型进行特定任务学习。本发明采用量化感知的尺度学习，能够自适应地最小化异常位置的量化误差，尤其在某些位置激活表现为异常值特征的情况下能够有效地减少了每个量化组内的量化误差，从而解决现有技术对于离群点造成的量化误差无法有效处理的问题；本发明通过均匀量化的方法，采用权重裁剪来缓解语言任务中发生的量化困难；本发明在迭代达到一定次数后，将多模态指令数据集替换为混合数据集，有助于在保持多模态任务性能的同时，逐步引入语言数据，避免过度拟合。

公开(公告)号：CN115688888A

公开(公告)日：2023-02-03

申请号：CN202211302111.9

申请日：2022-10-24

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  张玉鑫 ,  林明宝

IPC: G06N3/0495 ,  G06N3/084 ,  G06N3/0464

Abstract: 一种有效学习N:M稀疏的最佳组合方法，涉及人工神经网络的压缩与加速。以一种有效的分而治之的方式解决N:M稀疏性问题。首先，将权重向量划分为固定大小N的个组合子集。然后，通过为每个组合分配一个可学习的分数来克服组合问题，该分数与其相关权重联合优化。证明引入的评分机制可以很好地模拟组合子集之间的相对重要性。通过逐步删除低得分子集，可以在正常训练阶段有效地优化N:M细粒度稀疏性。具有端到端的实现、高效的培训、优化的可处理性的特点，以两步方式进行网络稀疏性，包括掩码学习和权重调整，在联合框架中优化权重矩阵，从而在正常训练阶段获得优化的N:M稀疏性。进一步提高训练效率和准确率。

公开(公告)号：CN118350414A

公开(公告)日：2024-07-16

申请号：CN202410358176.8

申请日：2024-03-27

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  赵力锐 ,  张玉鑫

IPC: G06N3/0455 ,  G06N3/09 ,  G06N3/082

Abstract: 本发明公开了一种两阶段微调大语言模型代理的方法，涉及人工智能技术领域。本发明的方法先对大型语言模型执行标准的有监督微调，以减少大语言模型的输出和代理API之间的误差；然后将第一阶段微调后的大语言模型，使用数据集中的用户指令进行多个API输出的采样，并进行实际调用以及用已有的评分模型进行评分，将大语言模型输出的分数高的API的输出概率对齐，并减少低分API的输出概率。通过采用两阶段的微调大语言模型产生代理，不仅可以使得大语言模型能对用户的指令响应代理API，并且大语言模型更加与人类偏好进行对齐，使得用户可以在特定任务中获得相应的适合用户输入指令的API调用。

公开(公告)号：CN116340769A

公开(公告)日：2023-06-27

申请号：CN202310198651.5

申请日：2023-03-03

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  张玉鑫 ,  罗一婷 ,  林明宝

IPC: G06F18/214 ,  G06N3/08 ,  G06N3/0464

Abstract: 用于高效N:M稀疏训练的双向掩码，涉及人工神经网络的压缩与加速。1)在权重的行维度根据权重大小计算前向掩码；2)利用前向掩码计算稀疏前向传播过程中权重的最优行排列，对前向稀疏权重按行重排列；3)对重排列后的稀疏权重在列维度根据稀疏权重大小计算反向掩码，保持行置换和不行置换之间相同的输出，缩小单向和双向掩码之间的梯度差距；4)利用随机梯度下降方法对深度神经网络有效优化卷积层及其N:M稀疏性。在前向和反向传播的两个方向上分离稀疏掩码以获得训练加速度，实现前向和反向权重的稀疏性，克服密集的梯度计算的问题。实现保持性能的有效权重行重排列方法，很好地最小化传统单向掩码和本发明的双向掩码之间的梯度差距。

公开(公告)号：CN119831032A

公开(公告)日：2025-04-15

申请号：CN202411815941.0

申请日：2024-12-11

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  晁飞 ,  张玉鑫

IPC: G06N5/04 ,  G06N3/082

Abstract: 本发明公开一种基于缓存融合的大型语言模型推理加速方法、电子设备和存储介质，通过合并缓存的方式实现最小化压缩过程中的信息丢失，有效解决KV缓存压缩过程中面临的问题。该方法包括：1、对于给定的大型语言模型，基于Token Merge技术计算其缓存值，并根据计算得到的缓存值进行剪枝和合并操作；2、对于原有的大型语言模型的KV缓存矩阵，针对需要被舍弃的Token，通过伯努利分布生成二进制掩码；3、对于被保留的大型语言模型的KV缓存矩阵，首先通过注意力权重计算其被合并的概率值，然后利用步骤2的二进制掩码将被舍弃的Token平均地合并到被保留的Token中；4、在大型语言模型的前向传播过程中，不断对生成的KV缓存矩阵执行步骤1至步骤3的处理过程。

公开(公告)号：CN119180955A

公开(公告)日：2024-12-24

申请号：CN202411224391.5

申请日：2024-09-03

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  黄钊宏 ,  张玉鑫 ,  林明宝

IPC: G06V10/26 ,  G06N5/04 ,  G06N3/0464 ,  G06N3/048 ,  G06V10/80 ,  G06N3/09 ,  G06V10/82 ,  G06V10/40 ,  G06T7/00

Abstract: 本发明公开一种基于细节和语义深监督的医学影像分割方法、电子设备和存储介质，解决现有技术中存在的问题，保证低级特征与高级特征监督的同步融合，以便产生更可靠的分割结果。本发明包括以下具体步骤：步骤1、对于输入深监督神经网络的医学影像，提取其低级特征#imgabs0#和高级特征#imgabs1#，并输入细节增强模块和语义增强模块中进行解码以产生监督信号；步骤2、在训练阶段，进行每个监督信号的优化；步骤3、在推理过程，对所有的监督信号进行累加，得到最终的分割结果。