公开(公告)号：CN118691725A

公开(公告)日：2024-09-24

申请号：CN202410817860.8

申请日：2024-06-24

Applicant: 北京交通大学 ,  清华大学

Inventor： 温玉辉 ,  景丽萍 ,  刘永进 ,  孙志尧 ,  汪意 ,  周正忠

IPC: G06T13/40 ,  G06T17/00 ,  G06T3/04 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种情感可控脸部动画生成方法、装置、设备及介质，该方法包括：确定目标时间段内的脸部视频和音频，所述脸部视频和所述音频同步采集；根据所述脸部视频和所述音频，确定条件编码，所述条件编码表征脸部视频中情感编码和音频中声音编码的组合关系；根据所述条件编码，确定隐空间编码，所述隐空间编码表征动画场景下的情感编码；根据所述隐空间编码，确定目标时间段内的人脸模型参数；根据所述人脸模型参数和预配置的视角参数，确定动画场景下的脸部视频,能够通过声音和情感生成三维人脸动画，能够更加灵活地控制动画生成结果。

公开(公告)号：CN119904572A

公开(公告)日：2025-04-29

申请号：CN202411725689.4

申请日：2024-11-28

Applicant: 北京交通大学

Inventor： 温玉辉 ,  汪意 ,  景丽萍 ,  周正忠

IPC: G06T17/00 ,  G06T15/04 ,  G06T15/20 ,  G06T17/20

Abstract: 本发明提供了一种基于神经纹理和三维高斯的可编辑数字人建模方法及装置，该方法包括：通过三维高斯泼溅模型根据目标对象的动作序列视频数据对数字人的表情、姿态和外观进行建模，得到数字人的高斯模型；通过神经纹理模型对数字人的表情、姿态和外观进行建模，得到数字人的神经纹理模型；对高斯模型进行剪枝，并根据剪枝后的高斯模型输出的渲染图像与数字人的神经纹理模型输出的渲染图像进行混合渲染，得到混合渲染图像；基于混合渲染图像和动作序列视频数据对数字人的高斯模型进行优化，得到可编辑数字人模型。本发明所述方法减少了数字人模型存储开销和结构复杂度，并提高了数字人模型皮肤表面高频细节和编辑效率。