公开(公告)号：CN117132459A

公开(公告)日：2023-11-28

申请号：CN202311120116.4

申请日：2023-09-01

Applicant: 杭州电子科技大学

Inventor： 杜梅 ,  舒睿骐 ,  杨霏凡 ,  许金兰 ,  高飞

IPC: G06T3/00 ,  G06V40/16 ,  G06V10/26 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/088 ,  G06N3/094

Abstract: 本发明公开了一种无监督学习人脸漫画生成方法，包括如下步骤：S1、人脸图像A通过生成器G翻译生成人脸漫画Bfake；S2、对人脸图像A和人脸漫画Bfake通过编码网络E进行特征提取，分别得到内容向量Ca和内容向量Cb′，通过对比学习策略进行内容向量裁块；S3、将人脸漫画Bfake和漫画人脸B′输入CLIP编码网络分别提取生成风格向量b′和原风格向量b，将b′与风格向量b通过曼哈顿距离进行风格约束；S4、采用语义分割编码网络ES分别提取人脸漫画Bfake和人脸图像A的人脸分割向量，采用交叉熵损失来约束身份信息使人脸漫画Bfake和人脸图像A身份一致。该方法通过对比学习结构信息约束，身份约束，风格约束等多种约束下生成高质量保真的人脸漫画。