公开(公告)号：CN116431847B

公开(公告)日：2023-11-14

申请号：CN202310700719.5

申请日：2023-06-14

Applicant: 北京邮电大学

Inventor： 梁美玉 ,  曹晓雯 ,  于洋 ,  鲁康康 ,  余家良

IPC: G06F16/51 ,  G06F16/583 ,  G06F16/31 ,  G06F16/383 ,  G06F18/25 ,  G06N3/045 ,  G06N3/047 ,  G06N3/048 ,  G06N3/0464 ,  G06N3/094 ,  G06N3/084 ,  G06N5/04

Abstract: 本申请提供一种基于多重对比和双路对抗的跨模态哈希检索方法及设备，能够对图像模态的图像信息和文本模态的文本信息进行跨模态语义融合，得到图像推理特征和文本推理特征；对图像推理特征和文本推理特征进行模态间、模态内和全局局部的多重对比哈希学习和双路对抗学习，得到二进制哈希码，通过多重对比学习进行全局局部、模态内和模态间的语义匹配和融合，并通过双路对抗学习机制更好地对齐不同模态哈希码的语义分布，产生更高质量和更具判别性的二进制哈希码作为跨模态检索的统一哈希表示。使用二进制哈希码，可以快速实现跨模态检索；此外，哈希码占用的内存空间也显著减少，且哈希码具有唯一性，以此确保跨模态检索的高效性和准确性。

公开(公告)号：CN116431847A

公开(公告)日：2023-07-14

申请号：CN202310700719.5

申请日：2023-06-14

Applicant: 北京邮电大学

Inventor： 梁美玉 ,  曹晓雯 ,  于洋 ,  鲁康康 ,  余家良

IPC: G06F16/51 ,  G06F16/583 ,  G06F16/31 ,  G06F16/383 ,  G06F18/25 ,  G06N3/045 ,  G06N3/047 ,  G06N3/048 ,  G06N3/0464 ,  G06N3/094 ,  G06N3/084 ,  G06N5/04

Abstract: 本申请提供一种基于多重对比和双路对抗的跨模态哈希检索方法及设备，能够对图像模态的图像信息和文本模态的文本信息进行跨模态语义融合，得到图像推理特征和文本推理特征；对图像推理特征和文本推理特征进行模态间、模态内和全局局部的多重对比哈希学习和双路对抗学习，得到二进制哈希码，通过多重对比学习进行全局局部、模态内和模态间的语义匹配和融合，并通过双路对抗学习机制更好地对齐不同模态哈希码的语义分布，产生更高质量和更具判别性的二进制哈希码作为跨模态检索的统一哈希表示。使用二进制哈希码，可以快速实现跨模态检索；此外，哈希码占用的内存空间也显著减少，且哈希码具有唯一性，以此确保跨模态检索的高效性和准确性。