公开(公告)号：CN115311731B

公开(公告)日：2023-01-31

申请号：CN202211235204.4

申请日：2022-10-10

Applicant: 之江实验室

Inventor： 刘逸颖 ,  李萌坚 ,  李融 ,  陈忠豪

IPC: G06V40/16 ,  G06V40/20 ,  G06V10/774 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种手语数字人的表情生成方法和装置，包括以下步骤：步骤S1：将所有口型对应的口型混合变形权重和所有情感对应的情感混合变形权重构成表情数据库；步骤S2：获取手语语句的词目序列和手语语句的情感属性；步骤S3：估计所述音素序列中每个音素的持续时长；步骤S4：得到平滑后的口型混合变形权重序列；步骤S5：生成情感混合变形权重序列；步骤S6：得到混合变形权重；步骤S7：将所述混合变形权重应用到手语数字人人脸模型上，生成手语表情动画。本发明将口型及情感的表情合成应用到手语数字人当中，使得手语数字人更加生动形象，并大大提升手语数字人在听障人群中的可理解性，具有高稳定性、算法复杂度低的优点，能够进行实时运行。

公开(公告)号：CN115311731A

公开(公告)日：2022-11-08

申请号：CN202211235204.4

申请日：2022-10-10

Applicant: 之江实验室

Inventor： 刘逸颖 ,  李萌坚 ,  李融 ,  陈忠豪

IPC: G06V40/16 ,  G06V40/20 ,  G06V10/774 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种手语数字人的表情生成方法和装置，包括以下步骤：步骤S1：将所有口型对应的口型混合变形权重和所有情感对应的情感混合变形权重构成表情数据库；步骤S2：获取手语语句的词目序列和手语语句的情感属性；步骤S3：估计所述音素序列中每个音素的持续时长；步骤S4：得到平滑后的口型混合变形权重序列；步骤S5：生成情感混合变形权重序列；步骤S6：得到混合变形权重；步骤S7：将所述混合变形权重应用到手语数字人人脸模型上，生成手语表情动画。本发明将口型及情感的表情合成应用到手语数字人当中，使得手语数字人更加生动形象，并大大提升手语数字人在听障人群中的可理解性，具有高稳定性、算法复杂度低的优点，能够进行实时运行。

公开(公告)号：CN115797389A

公开(公告)日：2023-03-14

申请号：CN202211376034.1

申请日：2022-11-04

Applicant: 之江实验室

Inventor： 李融 ,  陈忠豪 ,  陈奕铮

IPC: G06T7/194 ,  G06T5/50 ,  G06T3/40 ,  G06T17/00 ,  G06T7/38 ,  G06V40/16 ,  G06N3/045 ,  G06N3/0475

Abstract: 本发明公开了一种基于神经网络的三维数字人面部细节增强方法和装置，使用人脸检测器获取原始RGB图像中的人脸图像，使用基于生成式对抗网络的人脸生成模型，将提取的人脸图像转换为更清晰、更真实的人脸图像；随后移除原图中的人脸，移除新生成的人脸的背景，将新生成的人脸与移除人脸后的原图进行融合，得到包含高度真实感的RGB图像。