公开(公告)号：CN112905827B

公开(公告)日：2024-02-27

申请号：CN202110183075.8

申请日：2021-02-08

Applicant: 中国科学技术大学

Inventor： 张勇东 ,  张天柱 ,  史张翔 ,  吴枫

IPC: G06F16/583 ,  G06F16/33 ,  G06F18/22 ,  G06N3/0464 ,  G06N3/08 ,  G06N3/045

Abstract: 本发明公开了一种跨模态图文匹配的方法、装置及计算机可读存储介质，方法包括：获取图像特征向量和句子特征向量；利用注意力机制聚合图像内的图像特征向量的上下文信息获得视觉短语和句子内的句子特征向量的上下文信息获得文本短语；计算视觉短语和文本短语的模态内相似度；通过交叉注意力层获取视觉短语在文本语义空间的特征表示和文本短语在视觉语义空间的特征表示，计算获得图像到句子的跨模态相似度和句子到图像的跨模态相似度；根据预设权重、模态内相似度和跨模态相似度计算获得图像到句子的综合相似度和句子到图像的综合相似度；根据综合相似度获得图像与句子的关联结果，本发明提供的方法具有匹配速度快、匹配准确性高的特点。

公开(公告)号：CN112905827A

公开(公告)日：2021-06-04

申请号：CN202110183075.8

申请日：2021-02-08

Applicant: 中国科学技术大学

Inventor： 张勇东 ,  张天柱 ,  史张翔 ,  吴枫

IPC: G06F16/583 ,  G06F16/33 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种跨模态图文匹配的方法、装置及计算机可读存储介质，方法包括：获取图像特征向量和句子特征向量；利用注意力机制聚合图像内的图像特征向量的上下文信息获得视觉短语和句子内的句子特征向量的上下文信息获得文本短语；计算视觉短语和文本短语的模态内相似度；通过交叉注意力层获取视觉短语在文本语义空间的特征表示和文本短语在视觉语义空间的特征表示，计算获得图像到句子的跨模态相似度和句子到图像的跨模态相似度；根据预设权重、模态内相似度和跨模态相似度计算获得图像到句子的综合相似度和句子到图像的综合相似度；根据综合相似度获得图像与句子的关联结果，本发明提供的方法具有匹配速度快、匹配准确性高的特点。