公开(公告)号：CN110647904A

公开(公告)日：2020-01-03

申请号：CN201910707010.1

申请日：2019-08-01

Applicant: 中国科学院信息工程研究所

Inventor： 朱福庆 ,  王雪如 ,  张卫博 ,  戴娇 ,  虎嵩林 ,  韩冀中

IPC: G06K9/62 ,  G06F16/903

Abstract: 本发明提出一种基于无标记数据迁移的跨模态检索方法及系统，将经过聚类的无标注信息的单模态图像和文本数据作为迁移源域，有标注信息的跨模态数据集作为目标域，通过迁移学习将源域迁移至目标域的跨模态数据集，扩大训练数据规模，增加跨模态数据的语义信息，学得一个更好的共同空间。本发明很好地解决了跨模态数据集数据规模小的问题，更加符合实际用户查询不在预定义类别范围内的情况；同时，可以更好地提取不同模态数据的上层语义信息，克服模态之间的异构性差异，增加模态之间的相似性，提高跨模态检索准确率。

公开(公告)号：CN110647904B

公开(公告)日：2022-09-23

申请号：CN201910707010.1

申请日：2019-08-01

Applicant: 中国科学院信息工程研究所

Inventor： 朱福庆 ,  王雪如 ,  张卫博 ,  戴娇 ,  虎嵩林 ,  韩冀中

IPC: G06K9/62 ,  G06F16/903

Abstract: 本发明提出一种基于无标记数据迁移的跨模态检索方法及系统，将经过聚类的无标注信息的单模态图像和文本数据作为迁移源域，有标注信息的跨模态数据集作为目标域，通过迁移学习将源域迁移至目标域的跨模态数据集，扩大训练数据规模，增加跨模态数据的语义信息，学得一个更好的共同空间。本发明很好地解决了跨模态数据集数据规模小的问题，更加符合实际用户查询不在预定义类别范围内的情况；同时，可以更好地提取不同模态数据的上层语义信息，克服模态之间的异构性差异，增加模态之间的相似性，提高跨模态检索准确率。