公开(公告)号：CN114663539B

公开(公告)日：2023-03-14

申请号：CN202210232796.8

申请日：2022-03-09

Applicant: 东南大学

Inventor： 李新德 ,  王航宇

IPC: G06T11/00 ,  G06T17/00 ,  G06V20/40 ,  G06V40/16 ,  G10L25/63

Abstract: 本发明提供了一种基于音频驱动的口罩下2D人脸还原技术，来真实还原说话者的完整人脸。通过音频情感解耦器，有效的分离了音频中包含的内容和情感信息，避免了两者之间的干扰，有效的增强了生成人脸表情以及嘴型的真实性和自然性。通过2D建模，提取了人脸的几何特征、面部装饰和肤色特征，估计出头部的三维欧拉角度，在保证生成说话人脸效果的同时有效解决了3D建模的困难和不稳定性。

公开(公告)号：CN114663539A

公开(公告)日：2022-06-24

申请号：CN202210232796.8

申请日：2022-03-09

Applicant: 东南大学

Inventor： 李新德 ,  王航宇

IPC: G06T11/00 ,  G06T17/00 ,  G06V20/40 ,  G06V40/16 ,  G10L25/63

Abstract: 本发明提供了一种基于音频驱动的口罩下2D人脸还原技术，来真实还原说话者的完整人脸。通过音频情感解耦器，有效的分离了音频中包含的内容和情感信息，避免了两者之间的干扰，有效的增强了生成人脸表情以及嘴型的真实性和自然性。通过2D建模，提取了人脸的几何特征、面部装饰和肤色特征，估计出头部的三维欧拉角度，在保证生成说话人脸效果的同时有效解决了3D建模的困难和不稳定性。