公开(公告)号：CN118627020B

公开(公告)日：2024-10-29

申请号：CN202411110491.5

申请日：2024-08-14

Applicant: 之江实验室

Inventor： 盛明凯 ,  程稳 ,  王纪超 ,  梅飞 ,  朱春节 ,  刘懿 ,  曾令仿

IPC: G06F18/25 ,  G06N3/0895 ,  G06N3/09 ,  G06N3/0455

Abstract: 本发明公开了一种基于对比学习和结构化信息增强多模态特征融合的方法，基于对比学习的多模态网络，通过利用结构化信息构造的正负样本数据，充分挖掘模态特征之间的对应关系，基于对应关系，注入结构化信息增强模态特征的融合；本发明通过对原始数据集中成对的图片、文本对中的文本数据进行结构化处理，获取文本数据中的对象、对象关系、对象属性等信息构造文本语义负样本和结构知识特征，结构知识特征注入到文本特征中后，在对比学习模块中与文本正样本和图片数据一起进行特征对齐，基于对齐特征送入特征融合模块进行特征融合。本发明充分利用文本模态的结构信息进行特征对齐以及利用融合特征进行联合优化，极大地提升了模型的多模态理解能力。

公开(公告)号：CN118627020A

公开(公告)日：2024-09-10

申请号：CN202411110491.5

申请日：2024-08-14

Applicant: 之江实验室

Inventor： 盛明凯 ,  程稳 ,  王纪超 ,  梅飞 ,  朱春节 ,  刘懿 ,  曾令仿

IPC: G06F18/25 ,  G06N3/0895 ,  G06N3/09 ,  G06N3/0455

Abstract: 本发明公开了一种基于对比学习和结构化信息增强多模态特征融合的方法，基于对比学习的多模态网络，通过利用结构化信息构造的正负样本数据，充分挖掘模态特征之间的对应关系，基于对应关系，注入结构化信息增强模态特征的融合；本发明通过对原始数据集中成对的图片、文本对中的文本数据进行结构化处理，获取文本数据中的对象、对象关系、对象属性等信息构造文本语义负样本和结构知识特征，结构知识特征注入到文本特征中后，在对比学习模块中与文本正样本和图片数据一起进行特征对齐，基于对齐特征送入特征融合模块进行特征融合。本发明充分利用文本模态的结构信息进行特征对齐以及利用融合特征进行联合优化，极大地提升了模型的多模态理解能力。