公开(公告)号：CN112199520B

公开(公告)日：2022-07-22

申请号：CN202010990707.7

申请日：2020-09-19

Applicant: 复旦大学

Inventor： 张玥杰 ,  全家琦

IPC: G06F16/41 ,  G06F16/45 ,  G06F16/483 ,  G06F16/901

Abstract: 本发明属于跨模态数据检索技术领域，具体为一种基于细粒度相似性矩阵的跨模态哈希检索算法。本发明算法主要针对图像检索文本与文本检索图像两个任务，包括：哈希码推理：利用图像‑文本对的标签信息构筑细粒度相似性矩阵，使哈希码保留图像‑文本数据项之间的细粒度相似性信息；构造一个自编码器，使哈希码尽可能保留标签中的语义信息；哈希函数学习：训练两个哈希函数，分别将图像和文本映射至哈希码，哈希码学习所用到的目标函数包含哈希码映射损失、带权重的相似性保留损失、及分类损失。本发明在图像搜索文本和文本搜索图像两个任务中都具有比较高的检索精度。

公开(公告)号：CN112199520A

公开(公告)日：2021-01-08

申请号：CN202010990707.7

申请日：2020-09-19

Applicant: 复旦大学

Inventor： 张玥杰 ,  全家琦

IPC: G06F16/41 ,  G06F16/45 ,  G06F16/483 ,  G06F16/901

Abstract: 本发明属于跨模态数据检索技术领域，具体为一种基于细粒度相似性矩阵的跨模态哈希检索算法。本发明算法主要针对图像检索文本与文本检索图像两个任务，包括：哈希码推理：利用图像‑文本对的标签信息构筑细粒度相似性矩阵，使哈希码保留图像‑文本数据项之间的细粒度相似性信息；构造一个自编码器，使哈希码尽可能保留标签中的语义信息；哈希函数学习：训练两个哈希函数，分别将图像和文本映射至哈希码，哈希码学习所用到的目标函数包含哈希码映射损失、带权重的相似性保留损失、及分类损失。本发明在图像搜索文本和文本搜索图像两个任务中都具有比较高的检索精度。