公开(公告)号：CN116775798A

公开(公告)日：2023-09-19

申请号：CN202310529537.6

申请日：2023-05-11

Applicant: 南京邮电大学

Inventor： 吴飞 ,  李帅帅 ,  季一木 ,  陈澍 ,  蒋国平

IPC: G06F16/31 ,  G06F16/583 ,  G06F18/214 ,  G06N3/0464 ,  G06F18/25

Abstract: 本发明公开了一种基于图网络与模态间特征融合的跨模态哈希方法包括，通过获取跨模态检索数据集；对训练数据集里文本和图像分别进行特征提取，通过孪生图卷积神经网络学习图像和文本模态的图表示；通过模态间特征融合模块生产层图像和文本模态的哈希码；引入余弦三元组损失，根据模态间鉴别损失函数、模态内鉴别损失函数、引导损失函数和量化损失函数训练网络；通过网络收敛，利用测试集的样本进行跨模态检索。本方法有效的联合利用图像和文本模态的深层特征，从而有效地减少模态差异，同时保持邻里关系，解决了过去跨模态哈希方法占存储空间大和检索速度慢的问题。