基于深度学习的多模态哈希方法

    公开(公告)号:CN109558498A

    公开(公告)日:2019-04-02

    申请号:CN201811317084.6

    申请日:2018-11-07

    Abstract: 本发明揭示了一种基于深度学习的多模态哈希方法,包括如下步骤:S1、提取特征并依据特征生成相应的图像哈希二值码及文本哈希二值码;S2、通过损失函数训练网络,优化网络参数,将所生成的相似的图像哈希二值码和文本的哈希二值码映射到同一个样本空间内的相邻位置,最大化多模态相关性;S3、利用经过训练的网络,完成多模态相似性检索。本发明利用深度神经网络提取了同一实体的图像和文本的特征表示,其中,图像部分利用卷积神经网络提取图像的基本特征,文本部分利用Word2vec来训练语言模型,显著提高了检索的精度。

Patent Agency Ranking