公开(公告)号：CN112581569B

公开(公告)日：2021-11-23

申请号：CN202011467439.7

申请日：2020-12-11

Applicant: 中国科学院软件研究所

Inventor： 陈辉 ,  姚乃明 ,  李博宇 ,  乔逢春 ,  白泽琛 ,  王宏安

IPC: G06T13/20 ,  G06T13/40 ,  G06N3/04

Abstract: 本发明公开了一种自适应情感表达的说话人面部动画生成方法及电子装置，包括：获取当前说话人的中性面部状态发音人脸关键点及音频序列的音频特征；依据音频特征得到包含发音信息的运动差分；依据音频特征中的音素特征与发音人脸关键点得到包含情感信息的运动差分；根据发音人脸关键点、包含发音信息的运动差分与包含情感信息的运动差分，生成人脸关键点运动序列；通过人脸关键点发音运动序列，生成当前说话人的面部动画。本发明通过发音表情字典，保证了说话人面部动画情感表达的自然性；设计一种自适应的情感添加方法，保证了说话人表情表达的多样性；不需要预设表情标签，能够表达丰富的情感发音动画。

公开(公告)号：CN112581569A

公开(公告)日：2021-03-30

申请号：CN202011467439.7

申请日：2020-12-11

Applicant: 中国科学院软件研究所

Inventor： 陈辉 ,  姚乃明 ,  李博宇 ,  乔逢春 ,  白泽琛 ,  王宏安

IPC: G06T13/20 ,  G06T13/40 ,  G06N3/04

Abstract: 本发明公开了一种自适应情感表达的说话人面部动画生成方法及电子装置，包括：获取当前说话人的中性面部状态发音人脸关键点及音频序列的音频特征；依据音频特征得到包含发音信息的运动差分；依据音频特征中的音素特征与发音人脸关键点得到包含情感信息的运动差分；根据发音人脸关键点、包含发音信息的运动差分与包含情感信息的运动差分，生成人脸关键点运动序列；通过人脸关键点发音运动序列，生成当前说话人的面部动画。本发明通过发音表情字典，保证了说话人面部动画情感表达的自然性；设计一种自适应的情感添加方法，保证了说话人表情表达的多样性；不需要预设表情标签，能够表达丰富的情感发音动画。