公开(公告)号：CN119226447B

公开(公告)日：2025-04-04

申请号：CN202411756952.6

申请日：2024-12-03

Applicant: 中南大学

Inventor： 杨展 ,  王博轩 ,  龙军 ,  李逸楠 ,  陈云飞

IPC: G06F16/334 ,  G06F16/583 ,  G06F18/22 ,  G06F18/25 ,  G06V10/44 ,  G06F40/30 ,  G06N3/0464

Abstract: 本申请涉及一种基于关系网络的跨模态哈希检索方法、装置和设备，本方法首先获得样本对的图像特征向量和文本特征向量，并得到融合特征向量；然后通过关系网络从图像特征向量、文本特征向量以及融合特征向量中挖掘不同模态对象之间的关联关系，捕获对象样本之间的成对关系的核心共性；然后根据哈希网络计算每个样本对的第一哈希码和第二哈希码之间的第一相似度，根据第二相似度构建损失函数，最后基于损失函数对哈希检索模型的哈希网络进行反向优化。本方法将关系网络引入跨模态哈希检索，解决在将多模态数据的特征向量在获取相似度时存在损失模态语义特征相似性，导致跨模态数据检索准确率不足的问题，实现对多模态的数据进行高精度跨模态检索。

公开(公告)号：CN119226447A

公开(公告)日：2024-12-31

申请号：CN202411756952.6

申请日：2024-12-03

Applicant: 中南大学

Inventor： 杨展 ,  王博轩 ,  龙军 ,  李逸楠 ,  陈云飞

IPC: G06F16/33 ,  G06F16/583 ,  G06F18/22 ,  G06F18/25 ,  G06V10/44 ,  G06F40/30 ,  G06N3/0464

Abstract: 本申请涉及一种基于关系网络的跨模态哈希检索方法、装置和设备，本方法首先获得样本对的图像特征向量和文本特征向量，并得到融合特征向量；然后通过关系网络从图像特征向量、文本特征向量以及融合特征向量中挖掘不同模态对象之间的关联关系，捕获对象样本之间的成对关系的核心共性；然后根据哈希网络计算每个样本对的第一哈希码和第二哈希码之间的第一相似度，根据第二相似度构建损失函数，最后基于损失函数对哈希检索模型的哈希网络进行反向优化。本方法将关系网络引入跨模态哈希检索，解决在将多模态数据的特征向量在获取相似度时存在损失模态语义特征相似性，导致跨模态数据检索准确率不足的问题，实现对多模态的数据进行高精度跨模态检索。