公开(公告)号：CN113326287B

公开(公告)日：2021-11-02

申请号：CN202110889022.8

申请日：2021-08-04

Applicant: 山东大学

Inventor： 罗昕 ,  詹雨薇 ,  刘家乐 ,  许信顺

IPC: G06F16/242 ,  G06F40/30

Abstract: 本发明提出了一种使用三步策略的在线跨模态检索方法及系统，包括：获取不同模态组成的模拟流数据；针对模拟流数据，通过引入hadamard矩阵生成每个类标签的表示，并将每个类标签的表示作为用于进行哈希码的学习的全局信息，每个类标签的表示还保持局部相似性信息，利用模拟流数据中新到达的数据与已有数据之间的相关性来学习更有判别力的哈希码；利用学习的哈希码更新哈希函数；利用更新的哈希函数计算待检索样本的哈希编码，基于哈希编码计算二进制样本的海明距离，从而根据海明距离来返回与待检索样本相似的另一个模态的样本。本发明THOR可以保留更多的语义信息，学习更准确的哈希码。

公开(公告)号：CN113326287A

公开(公告)日：2021-08-31

申请号：CN202110889022.8

申请日：2021-08-04

Applicant: 山东大学

Inventor： 罗昕 ,  詹雨薇 ,  刘家乐 ,  许信顺

IPC: G06F16/242 ,  G06F40/30

Abstract: 本发明提出了一种使用三步策略的在线跨模态检索方法及系统，包括：获取不同模态组成的模拟流数据；针对模拟流数据，通过引入hadamard矩阵生成每个类标签的表示，并将每个类标签的表示作为用于进行哈希码的学习的全局信息，每个类标签的表示还保持局部相似性信息，利用模拟流数据中新到达的数据与已有数据之间的相关性来学习更有判别力的哈希码；利用学习的哈希码更新哈希函数；利用更新的哈希函数计算待检索样本的哈希编码，基于哈希编码计算二进制样本的海明距离，从而根据海明距离来返回与待检索样本相似的另一个模态的样本。本发明THOR可以保留更多的语义信息，学习更准确的哈希码。