公开(公告)号：CN111291212B

公开(公告)日：2022-10-11

申请号：CN202010077162.0

申请日：2020-01-24

Applicant: 复旦大学

Inventor： 张玥杰 ,  张兆龙

IPC: G06F16/583 ,  G06V10/80 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于多媒体信息检索技术领域，具体为基于图卷积神经网络的零样本草图图像检索方法和系统。本发明提供的零样本草图图像检索系统架构包括三个重要组成部分：特征编码网络、语义保持网络和语义重构网络；本发明通过特征提取网络提取草图和图像视觉特征；通过图卷积网络同时对草图和图像的视觉信息及其标签语义信息进行处理，建立未见过类别与见过类别之间的联系；最后通过语义重构网络，增强模型泛化能力；最终，模型将未见过类别的草图作为输入，并进行检索，找到与其相似的图像。本发明采用变分自编码器从视觉信息中生成语义信息，进一步增强模型的泛化能力。

公开(公告)号：CN111291212A

公开(公告)日：2020-06-16

申请号：CN202010077162.0

申请日：2020-01-24

Applicant: 复旦大学

Inventor： 张玥杰 ,  张兆龙

IPC: G06F16/583 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于多媒体信息检索技术领域，具体为基于图卷积神经网络的零样本草图图像检索方法和系统。本发明提供的零样本草图图像检索系统架构包括三个重要组成部分：特征编码网络、语义保持网络和语义重构网络；本发明通过特征提取网络提取草图和图像视觉特征；通过图卷积网络同时对草图和图像的视觉信息及其标签语义信息进行处理，建立未见过类别与见过类别之间的联系；最后通过语义重构网络，增强模型泛化能力；最终，模型将未见过类别的草图作为输入，并进行检索，找到与其相似的图像。本发明采用变分自编码器从视觉信息中生成语义信息，进一步增强模型的泛化能力。