公开(公告)号：CN118446883A

公开(公告)日：2024-08-06

申请号：CN202410563648.3

申请日：2024-05-08

Applicant: 华南理工大学

Inventor： 黄翰 ,  罗旺宗 ,  徐粤婷 ,  杨威

IPC: G06T3/04 ,  G06N3/006 ,  G06V40/16 ,  G06V10/46

Abstract: 本发明公开了一种数字人脸的表情迁移方法、系统、装置及存储介质，其中方法包括：提取源图像的人脸关键点，根据人脸关键点初始化一个种群；利用约束优化算法对人脸关键点种群中的个体进行迭代更新，评估个体的优劣，得到新的人脸关键点坐标；对源图像进行三角剖分，利用新旧人脸关键点的坐标获得变换矩阵，变换三角形网格位置，获得迁移后的表情图像；对迁移后的表情图像和目标图像进行对比和评估，如果评估结果达到预设条件，停止迭代，输出表情迁移结果；否则，根据当前迭代结果筛选出新一代种群，并返回执行对种群中的个体进行迭代更新的步骤。本发明能够有效地提高迁移结果的精度和自然性，可广泛应用于计算机视觉图像处理领域。

公开(公告)号：CN117915163A

公开(公告)日：2024-04-19

申请号：CN202410047066.X

申请日：2024-01-12

Applicant: 华南理工大学

Inventor： 黄翰 ,  徐粤婷 ,  李刚 ,  郑曙滨 ,  郑小辉 ,  王子龙 ,  黎姿 ,  曾梓峰 ,  冯艳洁 ,  罗旺宗

IPC: H04N21/81 ,  H04N21/4402 ,  G10L21/12 ,  G10L21/10 ,  G10L19/16 ,  G10L25/18

Abstract: 本发明公开了一种数字虚拟人自动化制作方法，包括以下步骤：对视频素材进行人像抠图，进行动作识别和表情识别，构建动作、表情视频库；对讲稿内容进行文本自动分句得到子句序列，进行动作分析和表情分析，得到动作、表情标签序列；根据标签序列选取动作视频和表情视频，构成动作、表情视频序列，进行动作表情合成，得到合成视频序列；对音频素材进行语音特征提取，构建语音特征库，将子句序列转换为音频序列，将音频序列转换为克隆音频序列；根据克隆音频序列的音频长度确定合成视频序列的视频长度；将合成视频序列与克隆音频序列进行口型同步，得到虚拟人视频序列，对虚拟人视频序列进行拼接，添加背景进行渲染，生成数字虚拟人视频。