公开(公告)号：CN111324765A

公开(公告)日：2020-06-23

申请号：CN202010083047.4

申请日：2020-02-07

Applicant: 复旦大学

Inventor： 张玥杰 ,  王燕飞

IPC: G06F16/583 ,  G06F16/55 ,  G06T7/13 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于跨媒体检索技术领域，具体为基于深度级联跨模态相关性的细粒度草图图像检索方法。本发明系统包括：深度多模态表示模块、深度多模态嵌入模块、深度三元组排序模块；深度多模态表示模块通过计算图像和文本在特征空间的高维映射，获取手绘草图、图像和图像文本描述的特征；深度多模态嵌入模块将不同模态的特征嵌入同一个高维向量空间，挑选出与查询草图具有较高相似性的候选集样本；深度三元组排序模块根据提取的多模态特征，对候选集样本进行排序优化，并输出与查询草图所对应的图像。本发明充分利用手绘草图和带有文本描述图像中的所有多模态信息，可以提高图像检索的效率，提升检索结果中前K个排名的有效性。

公开(公告)号：CN108595636A

公开(公告)日：2018-09-28

申请号：CN201810378357.1

申请日：2018-04-25

Applicant: 复旦大学

Inventor： 张玥杰 ,  黄飞 ,  王燕飞 ,  张涛

IPC: G06F17/30 ,  G06T7/13 ,  G06T5/00 ,  G06K9/62

Abstract: 本发明属于跨媒体相关性学习技术领域，具体为基于深度跨模态相关性学习的手绘草图的图像检索方法。本发明包括三个主要算法：深度多模态特征生成，多模态相关性学习建模，相似度排序优化。本发明利用深度学习技术来构造深度语义特征和深度视觉特征来分别描述多模态文档中的文本标注部分和图像/草图部分。基于这样的多模态文档表示，通过构建跨模态的相关性模型对整个多模态文档集合进行建模，从而对多模态文档的不同模态之间的关联进行描述。基于相关性建模后得到的相关性特征，对检索结果进行排序优化，返回与查询草图最大相似度的彩色图像和文本。

公开(公告)号：CN111489405B

公开(公告)日：2022-09-16

申请号：CN202010204393.3

申请日：2020-03-21

Applicant: 复旦大学

Inventor： 张玥杰 ,  王燕飞

IPC: G06T11/00 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明属于跨媒体图像翻译技术领域，具体为基于条件增强生成对抗网络的人脸草图合成系统。本发明采用条件增强生成对抗网络，用于人脸草图合成，可提供更好的适应性；所述条件增强生成对抗网络由三个相互交互的子网络组成；所述三个子网络为用于基本人脸草图合成的跨模态转换网络、用于改进人脸草图合成的单模态优化网络、用于增强人脸草图风格的感知损失网络；条件增强生成对抗网络旨在从第一阶段子网和原始照片/图像中继承更多有关基本人脸草图的视觉信息，并探索更多有效的视觉内容，以解决在高分辨率人脸草图生成过程中丢失的细节视觉表达和图像草图之间的关联性问题。

公开(公告)号：CN111488474B

公开(公告)日：2022-03-18

申请号：CN202010204392.9

申请日：2020-03-21

Applicant: 复旦大学

Inventor： 张玥杰 ,  王燕飞

IPC: G06F16/53 ,  G06N3/04

Abstract: 本发明属于跨媒体检索技术领域，具体为基于增强注意力的细粒度手绘草图图像检索方法。本发明提出一种深度细粒度手绘草图图像检索FG‑SBIR模型，使用不同的注意力机制来进一步关注草图和图像之间的细粒度细节。新模型不仅关注草图和图像两种模态之间的相关性信息，同时也关注单一模态内的区别性信息。本发明提出互损失方法，以增强传统的三元组损失，并提高模型在单一模态内部细粒度特征的辨别能力。对于给定查询草图，本发明可返回其在特定类别中具有细粒度实例级相似性的相关图像，满足细粒度手绘草图图像检索的实例级检索严格要求。

公开(公告)号：CN111489405A

公开(公告)日：2020-08-04

申请号：CN202010204393.3

申请日：2020-03-21

Applicant: 复旦大学

Inventor： 张玥杰 ,  王燕飞

IPC: G06T11/00 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明属于跨媒体图像翻译技术领域，具体为基于条件增强生成对抗网络的人脸草图合成系统。本发明采用条件增强生成对抗网络，用于人脸草图合成，可提供更好的适应性；所述条件增强生成对抗网络由三个相互交互的子网络组成；所述三个子网络为用于基本人脸草图合成的跨模态转换网络、用于改进人脸草图合成的单模态优化网络、用于增强人脸草图风格的感知损失网络；条件增强生成对抗网络旨在从第一阶段子网和原始照片/图像中继承更多有关基本人脸草图的视觉信息，并探索更多有效的视觉内容，以解决在高分辨率人脸草图生成过程中丢失的细节视觉表达和图像草图之间的关联性问题。

公开(公告)号：CN111488474A

公开(公告)日：2020-08-04

申请号：CN202010204392.9

申请日：2020-03-21

Applicant: 复旦大学

Inventor： 张玥杰 ,  王燕飞

IPC: G06F16/53 ,  G06N3/04

Abstract: 本发明属于跨媒体检索技术领域，具体为基于增强注意力的细粒度手绘草图图像检索方法。本发明提出一种深度细粒度手绘草图图像检索FG-SBIR模型，使用不同的注意力机制来进一步关注草图和图像之间的细粒度细节。新模型不仅关注草图和图像两种模态之间的相关性信息，同时也关注单一模态内的区别性信息。本发明提出互损失方法，以增强传统的三元组损失，并提高模型在单一模态内部细粒度特征的辨别能力。对于给定查询草图，本发明可返回其在特定类别中具有细粒度实例级相似性的相关图像，满足细粒度手绘草图图像检索的实例级检索严格要求。