公开(公告)号：CN115345773B

公开(公告)日：2023-02-17

申请号：CN202210977447.9

申请日：2022-08-15

Applicant: 哈尔滨工业大学(深圳)

Inventor： 吴爱国 ,  程诗文 ,  谢锦洋

IPC: G06T3/00 ,  G06T7/11 ,  G06N3/0475 ,  G06N3/08

Abstract: 本发明公开了一种基于生成对抗网络的妆容迁移方法，所述方法包括如下步骤：步骤一、人脸分割；步骤二、UV映射；步骤三、妆容提取；步骤四、颜色转移；步骤五、图案转移；步骤六、UV逆映射。本发明不仅能够在源图像和参考图像姿态差异较大时取得更好的妆容迁移效果，还能够实现多张参考图像的局部妆容组合转移以及单张参考图像的局部妆容单独转移和图案类极端妆容的迁移，给用户提升了妆容迁移的可控性、灵活性和图像姿态的鲁棒性，更适合实际应用场景。

公开(公告)号：CN115345773A

公开(公告)日：2022-11-15

申请号：CN202210977447.9

申请日：2022-08-15

Applicant: 哈尔滨工业大学(深圳)

Inventor： 吴爱国 ,  程诗文 ,  谢锦洋

IPC: G06T3/00 ,  G06T7/11 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于生成对抗网络的妆容迁移方法，所述方法包括如下步骤：步骤一、人脸分割；步骤二、UV映射；步骤三、妆容提取；步骤四、颜色转移；步骤五、图案转移；步骤六、UV逆映射。本发明不仅能够在源图像和参考图像姿态差异较大时取得更好的妆容迁移效果，还能够实现多张参考图像的局部妆容组合转移以及单张参考图像的局部妆容单独转移和图案类极端妆容的迁移，给用户提升了妆容迁移的可控性、灵活性和图像姿态的鲁棒性，更适合实际应用场景。

公开(公告)号：CN115345970B

公开(公告)日：2023-04-07

申请号：CN202210977439.4

申请日：2022-08-15

Applicant: 哈尔滨工业大学(深圳)

Inventor： 吴爱国 ,  谢锦洋 ,  程诗文

IPC: G06T13/80 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06V20/40 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于生成对抗网络的多模态输入视频条件生成方法，所述方法基于动作内容解耦的方法，实现多模态输入视频条件生成，分为两个阶段，第一阶段为特征提取阶段，提取输入的标签文本和对象图片的特征信息；第二阶段为视频生成阶段，生成符合标签文本和对象图片约束的视频，并使用对抗训练的模式来完成网络的训练。在第一阶段中，通过图像金字塔对输入的目标图像进行特征提取，得到多尺度的视频内容特征信息，然后送往第二个阶段；在第二个阶段中，输入不仅为上一个阶段提取的特征信息，还需要加上动作文本标签的特征信息和随机噪声，然后输入Decoder模块生成最终的视频序列。该方法解决了多模态输入下的视频条件生成问题。

公开(公告)号：CN115345970A

公开(公告)日：2022-11-15

申请号：CN202210977439.4

申请日：2022-08-15

Applicant: 哈尔滨工业大学(深圳)

Inventor： 吴爱国 ,  谢锦洋 ,  程诗文

IPC: G06T13/80 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06V20/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于生成对抗网络的多模态输入视频条件生成方法，所述方法基于动作内容解耦的方法，实现多模态输入视频条件生成，分为两个阶段，第一阶段为特征提取阶段，提取输入的标签文本和对象图片的特征信息；第二阶段为视频生成阶段，生成符合标签文本和对象图片约束的视频，并使用对抗训练的模式来完成网络的训练。在第一阶段中，通过图像金字塔对输入的目标图像进行特征提取，得到多尺度的视频内容特征信息，然后送往第二个阶段；在第二个阶段中，输入不仅为上一个阶段提取的特征信息，还需要加上动作文本标签的特征信息和随机噪声，然后输入Decoder模块生成最终的视频序列。该方法解决了多模态输入下的视频条件生成问题。