基于音频特征分离情感并驱动人脸动画合成方法及系统

    公开(公告)号:CN116403144A

    公开(公告)日:2023-07-07

    申请号:CN202310401054.8

    申请日:2023-04-14

    Applicant: 湖南大学

    Inventor: 蔡敏捷 任新

    Abstract: 本发明涉及一种基于音频特征分离情感并驱动人脸动画合成方法及系统,包括步骤:S1、给定需动画合成的一段语音音频和一段动态的参考面部图像;S2、从语音音频结合参考面部图像提取音频特征,从参考面部图像中提取面部标志点;S3、从提取的音频特征中进行内容信息、身份信息和情感信息的分离;S4、通过神经网络结合音频特征的内容信息、身份信息、情感信息和面部标志点获得预测图像的标志点坐标;S5、根据预测图像的标志点坐标构造标志点图;S6、将标志点图与参考面部图像中的图像叠加,利用生成网络生成脸部图像。本发明根据讲话内容、情感部分和身分特征对参考面部图像的脸部表情进行控制,更细粒度地合成人脸动画视频。

Patent Agency Ranking