基于深度关联网络的跨模态检索方法

    公开(公告)号:CN107832351A

    公开(公告)日:2018-03-23

    申请号:CN201710989497.8

    申请日:2017-10-21

    Inventor: 蔡国永 冯耀功

    CPC classification number: G06F17/30023 G06N3/0454

    Abstract: 本发明提出了基于深度关联网络的跨模态检索方法,包括如下步骤:1)利用初始特征提取方法分别获得第一模态数据的初级向量和第二模态数据的初级向量;2)建立和训练深度关联网络模型,然后分别将检索目标和检索库成员通过深度关联网络模型获得相对应的高级表示向量;3)利用高级表示向量对检索目标和检索库中每一个检索成员进行相似度匹配,即进行欧式距离的计算;4)将欧氏距离的计算结果按从小到大的顺利排列,得到检索目标的跨模态检索的结果列表。本方法在不同模态的数据之间建立了多层次的对应关联关系,同时融合了多种神经网络,使得深度模型具有更好的表示效果,并且跨模态检索的精确度更高、稳定性更好。

Patent Agency Ranking