公开(公告)号：CN117853638B

公开(公告)日：2024-08-20

申请号：CN202410257189.6

申请日：2024-03-07

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  张金璐 ,  孙晓帅 ,  周奕毅

IPC: G06T15/00 ,  G06F40/30 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/084 ,  G06N3/094

Abstract: 本发明基于文本驱动的端到端的3D人脸生成与编辑方法，在3D人脸生成过程中采用文本到视觉的直接映射，将映射后的文本特征与噪声相加后，得到具有文本信息的风格隐码，该风格隐码同时调控负责三维特征建模的NeRF块和二维特征上采样的卷积层，从而将文本控制条件加入到整个3D人脸的生成过程中。为了提高生成人脸与文本的匹配一致性，本发明设计了风格隐码增强器，利用文本局部特征与当前的视觉特征进行融合，在不同的生成阶段对风格隐码进行调控。模型训练时在3D空间中引入几何正则项，在3D空间对生成的人脸进行低级几何属性和高级几何特征的约束，减少了视角信息缺失导致遮挡异物的出现。

公开(公告)号：CN117853638A

公开(公告)日：2024-04-09

申请号：CN202410257189.6

申请日：2024-03-07

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  张金璐 ,  孙晓帅 ,  周奕毅

IPC: G06T15/00 ,  G06F40/30 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/084 ,  G06N3/094

Abstract: 本发明基于文本驱动的端到端的3D人脸快速生成与编辑方法，在3D人脸生成过程中采用文本到视觉的直接映射，将映射后的文本特征与噪声相加后，得到具有文本信息的风格隐码，该风格隐码同时调控负责三维特征建模的NeRF块和二维特征上采样的卷积层，从而将文本控制条件加入到整个3D人脸的生成过程中。为了提高生成人脸与文本的匹配一致性，本发明设计了风格隐码增强器，利用文本局部特征与当前的视觉特征进行融合，在不同的生成阶段对风格隐码进行调控。模型训练时在3D空间中引入几何正则项，在3D空间对生成的人脸进行低级几何属性和高级几何特征的约束，减少了视角信息缺失导致遮挡异物的出现。