公开(公告)号：CN112818157A

公开(公告)日：2021-05-18

申请号：CN202110185641.9

申请日：2021-02-10

Applicant: 浙江大学

Inventor： 纪守领 ,  付之笑 ,  董建锋 ,  张旭鸿 ,  何源

IPC: G06F16/583 ,  G06F16/58 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明公开了一种基于多阶对抗特征学习的组合查询图像检索方法，该方法包括：首先通过预训练的特征提取模块获取图像特征和利用LSTM网络获取文本特征，然后通过自注意力的指导将两种模态的特征融合。并且，将低阶特征通过双线性融合的方式生成高阶特征。再利用三元组损失学习特征之间的相似关系，利用判别器与检索网络对抗进一步促进特征间的融合，最后结合二者通过端到端的方式训练模型，从而实现高效的组合查询图像检索。本发明利用了深度学习技术和借鉴了博弈的思想，很大程度上提高了组合查询图像检索的性能和效率。

公开(公告)号：CN112818157B

公开(公告)日：2022-09-16

申请号：CN202110185641.9

申请日：2021-02-10

Applicant: 浙江大学

Inventor： 纪守领 ,  付之笑 ,  董建锋 ,  张旭鸿 ,  何源

IPC: G06F16/583 ,  G06F16/58 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明公开了一种基于多阶对抗特征学习的组合查询图像检索方法，该方法包括：首先通过预训练的特征提取模块获取图像特征和利用LSTM网络获取文本特征，然后通过自注意力的指导将两种模态的特征融合。并且，将低阶特征通过双线性融合的方式生成高阶特征。再利用三元组损失学习特征之间的相似关系，利用判别器与检索网络对抗进一步促进特征间的融合，最后结合二者通过端到端的方式训练模型，从而实现高效的组合查询图像检索。本发明利用了深度学习技术和借鉴了博弈的思想，很大程度上提高了组合查询图像检索的性能和效率。