公开(公告)号：CN119251555A

公开(公告)日：2025-01-03

申请号：CN202411283186.6

申请日：2024-09-13

Applicant: 电子科技大学(深圳)高等研究院

Inventor： 许辉 ,  李梦琦 ,  金正权 ,  郭智慧 ,  赵家铭 ,  曾鹏鹏 ,  邵杰

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种无约束的训练后量化图像分类方法，对于训练好的图像分类Transformer模型，根据实际需要确定需要量化的网络层，确定待量化特征和待量化权重，先采用均匀量化求解得到每层网络层权重的量化值和量化边界，然后在校准阶段获取实际的若干张样本图像并将其输入训练好的图像分类Transformer模型，得到每张样本图像的每个待量化特征值，然后求解量化优化问题得到每层待量化网络层待量化特征的量化值和量化边界，最后在推理阶段将待分类图像输入图像分类Transformer模型对待量化特征和权重分别进行量化，完成图像分类。本发明允许基于激活分布进行灵活的量化，而不受限于固定的量化范围，从而提高图像分类模型在量化压缩后的性能。

公开(公告)号：CN119992424A

公开(公告)日：2025-05-13

申请号：CN202510201200.1

申请日：2025-02-24

Applicant: 电子科技大学

Inventor： 曾鹏鹏 ,  李梦琦 ,  袁胜明 ,  吕新昱 ,  张继 ,  高联丽 ,  宋井宽

IPC: G06V20/40 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明公开了一种基于多模态大模型灵活关联控制的图像问答方法，首先生成图像和对应文字描述的非关联性特征表示，然后生成图像和定制提示的关联性特征表示，计算每层非关联性特征表示和关联性特征表示的余弦距离，并根据余弦距离筛选得到关键层，对于每个关键层，通过其非关联性特征表示和关联性特征表示计算关联控制向量，在进行图像问答时，在关键层中应用对应的关联控制向量对生成特征表示进行关联控制，从而实现对多模态大模型的创造力和幻觉水平的动态控制。本发明采用灵活关联控制策略，无需额外训练就能高效地动态调节多模态大模型的关联能力，从而解决图像问答任务中的模型幻觉问题，显著增强了图像问答的准确性和创造性。