公开(公告)号：CN107273517A

公开(公告)日：2017-10-20

申请号：CN201710478207.3

申请日：2017-06-21

Applicant: 复旦大学

Inventor： 顾晓东 ,  张有才

IPC: G06F17/30

CPC classification number: G06F17/30864 ,  G06F17/30023

Abstract: 本发明属于多媒体信息检索技术领域，具体为基于图嵌入学习的图文跨模态检索方法。本发明首先提取图片和文本的数据特征，然后建立一个图文双层的近邻图，通过近邻图及标签信息以神经网络的框架来学习得到嵌入层；通过嵌入层可以将图片、文本两个不同模态的数据映射到一个可以直接度量相似度的统一空间；相对现有方法线性投影的方式，可以更好的近似映射后的流行空间；在嵌入层，用户可以直接检索出与查询样本最相近的目标样本，以此来实现图文的跨模态检索。本发明能有效地跨越了不同模态媒体之间的语义鸿沟，进而使得跨模态搜索引擎返回的结果更加准确。

公开(公告)号：CN107273517B

公开(公告)日：2021-07-23

申请号：CN201710478207.3

申请日：2017-06-21

Applicant: 复旦大学

Inventor： 顾晓东 ,  张有才

IPC: G06F16/953 ,  G06F16/43

Abstract: 本发明属于多媒体信息检索技术领域，具体为基于图嵌入学习的图文跨模态检索方法。本发明首先提取图片和文本的数据特征，然后建立一个图文双层的近邻图，通过近邻图及标签信息以神经网络的框架来学习得到嵌入层；通过嵌入层可以将图片、文本两个不同模态的数据映射到一个可以直接度量相似度的统一空间；相对现有方法线性投影的方式，可以更好的近似映射后的流行空间；在嵌入层，用户可以直接检索出与查询样本最相近的目标样本，以此来实现图文的跨模态检索。本发明能有效地跨越了不同模态媒体之间的语义鸿沟，进而使得跨模态搜索引擎返回的结果更加准确。