公开(公告)号：CN111476241B

公开(公告)日：2023-04-21

申请号：CN202010143086.9

申请日：2020-03-04

Applicant: 上海交通大学

Inventor： 宋利 ,  张义诚 ,  解蓉 ,  张文军

IPC: G06V10/26 ,  G06V10/82 ,  G06N3/0455 ,  G06T11/60

Abstract: 本发明公开了一种人物服饰转换方法及系统，该方法包括：根据输入语句，对原图的原始分割图进行相应的形状变化，将原始分割图转换成目标分割图；利用第二级生成对抗网络处理合成问题：将目标分割图作为语义引导和形状限制条件，连同输入语句一起训练生成器学习从原图到目标图片的多域映射，以合成目标图片，完成人物服饰转换；第二级生成网络融合了：采用软注意力层强化目标图片与输入语句的关联性；采用自注意力层显式地捕捉图像上的远距离相关性；采用风格化注意力层通过逐通道内积以及特征图再校准，来建立特征之间的依赖关系。本发明的人物服饰转换方法及系统，融合了三种注意力层，实现了高质量服饰生成。

公开(公告)号：CN111476241A

公开(公告)日：2020-07-31

申请号：CN202010143086.9

申请日：2020-03-04

Applicant: 上海交通大学

Inventor： 宋利 ,  张义诚 ,  解蓉 ,  张文军

IPC: G06K9/34 ,  G06N3/04 ,  G06T11/60

Abstract: 本发明公开了一种人物服饰转换方法及系统，该方法包括：根据输入语句，对原图的原始分割图进行相应的形状变化，将原始分割图转换成目标分割图；利用第二级生成对抗网络处理合成问题：将目标分割图作为语义引导和形状限制条件，连同输入语句一起训练生成器学习从原图到目标图片的多域映射，以合成目标图片，完成人物服饰转换；第二级生成网络融合了：采用软注意力层强化目标图片与输入语句的关联性；采用自注意力层显式地捕捉图像上的远距离相关性；采用风格化注意力层通过逐通道内积以及特征图再校准，来建立特征之间的依赖关系。本发明的人物服饰转换方法及系统，融合了三种注意力层，实现了高质量服饰生成。