公开(公告)号：CN119007755A

公开(公告)日：2024-11-22

申请号：CN202410931290.5

申请日：2024-07-11

Applicant: 北京达佳互联信息技术有限公司

Inventor： 张浩贤 ,  陈禾嘉 ,  刘晓强 ,  张渊

IPC: G10L25/63 ,  G10L25/03 ,  G10L25/30 ,  G06T13/40

Abstract: 本公开关于一种用于驱动数字人的表情系数的生成方法、装置、电子设备及存储介质，所述方法包括：获取用于驱动数字人的音频数据、包括说话风格信息和说话情绪信息的第一控制信息和包括多个模态的控制信息的第二控制信息；通过语音驱动模块对音频数据进行特征提取处理，得到音频特征；通过第一控制模块对第一控制信息进行特征提取处理，得到说话风格特征和说话情绪特征；通过第二控制模块对第二控制信息进行特征提取处理，得到时序文本特征；将音频特征、说话风格特征、说话情绪特征，以及时序文本特征，输入表情系数生成模块进行处理，得到用于驱动数字人的表情系数。该方法能够丰富对数字人的控制方式，得到符合预期且高表现力的驱动结果。

公开(公告)号：CN119418383A

公开(公告)日：2025-02-11

申请号：CN202411545849.7

申请日：2024-10-31

Applicant: 北京达佳互联信息技术有限公司

Inventor： 张浩贤 ,  陈禾嘉 ,  刘晓强 ,  张渊

IPC: G06V40/16 ,  G06V10/774 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本申请实施例公开了一种表情驱动模型的训练方法、表情驱动方法及对应装置。主要技术方案包括：获取包括多个第一训练样本的第一训练数据，所述第一训练样本至少包括：音频样本、与所述音频样本对应的表情控制数据以及表情参数真值，所述表情控制数据至少包括时序控制数据，所述时序控制数据包括所述音频样本的时序内至少一个时间窗口对应的动作类型序列；基于所述第一训练数据训练表情驱动模型，包括：将所述音频样本和与所述音频样本对应的表情控制参数作为所述表情驱动模型的输入，获取所述表情驱动模型输出的表情参数序列。本申请可以提高面部表情的精细化控制效果，使其表情变化更加丰富和生动。