公开(公告)号：CN119992424A

公开(公告)日：2025-05-13

申请号：CN202510201200.1

申请日：2025-02-24

Applicant: 电子科技大学

Inventor： 曾鹏鹏 ,  李梦琦 ,  袁胜明 ,  吕新昱 ,  张继 ,  高联丽 ,  宋井宽

IPC: G06V20/40 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明公开了一种基于多模态大模型灵活关联控制的图像问答方法，首先生成图像和对应文字描述的非关联性特征表示，然后生成图像和定制提示的关联性特征表示，计算每层非关联性特征表示和关联性特征表示的余弦距离，并根据余弦距离筛选得到关键层，对于每个关键层，通过其非关联性特征表示和关联性特征表示计算关联控制向量，在进行图像问答时，在关键层中应用对应的关联控制向量对生成特征表示进行关联控制，从而实现对多模态大模型的创造力和幻觉水平的动态控制。本发明采用灵活关联控制策略，无需额外训练就能高效地动态调节多模态大模型的关联能力，从而解决图像问答任务中的模型幻觉问题，显著增强了图像问答的准确性和创造性。