-
公开(公告)号：CN115187705A
公开(公告)日：2022-10-14
申请号：CN202211108862.7
申请日：2022-09-13
Applicant: 之江实验室
Abstract: 本发明公开了一种语音驱动人脸关键点序列生成方法及装置，该方法首先构建一个用于训练的数据集和一个基于标准流模型的语音驱动人脸关键点序列生成模型，该模型将随机采样的高斯噪声作为输入，并将语音序列作为条件输入多个标准流模块中，其中每个模块通过条件时空卷积神经网络将语音序列融合进行融合，最后输出人脸关键点序列；其次，构建损失函数进行模型训练直至收敛，得到最佳模型参数的训练模型；最后利用训练好的模型进行模型推断，对任意输入的语音生成说话人表情关键点序列。本发明通过该方法能够生成高质量且动作自然的人脸关键点序列，解决计算机动画和虚拟人领域，基于语音驱动人脸关键点序列缺少多样性问题。
-
公开(公告)号：CN115187705B
公开(公告)日：2023-01-24
申请号：CN202211108862.7
申请日：2022-09-13
Applicant: 之江实验室
Abstract: 本发明公开了一种语音驱动人脸关键点序列生成方法及装置，该方法首先构建一个用于训练的数据集和一个基于标准流模型的语音驱动人脸关键点序列生成模型，该模型将随机采样的高斯噪声作为输入，并将语音序列作为条件输入多个标准流模块中，其中每个模块通过条件时空卷积神经网络将语音序列融合进行融合，最后输出人脸关键点序列；其次，构建损失函数进行模型训练直至收敛，得到最佳模型参数的训练模型；最后利用训练好的模型进行模型推断，对任意输入的语音生成说话人表情关键点序列。本发明通过该方法能够生成高质量且动作自然的人脸关键点序列，解决计算机动画和虚拟人领域，基于语音驱动人脸关键点序列缺少多样性问题。
-
公开(公告)号：CN115050087A
公开(公告)日：2022-09-13
申请号：CN202210981411.8
申请日：2022-08-16
Applicant: 之江实验室
IPC: G06V40/16 , G06V10/774
Abstract: 本发明公开了一种人脸关键点身份和表情解耦方法及装置，该方法包括：建立模型、训练模型和模型推断三个部分。本发明首先是从人脸图片中进行提取的人脸关键点，然后基于变分自编码器构建模型，其编码器部分将人脸关键点解耦成两个正交的身份隐变量和表情隐变量，解码器部分融合两者并解码成人脸关键点；采集大量的人脸说话视频数据，提取视频每帧的人脸关键点坐标，构建模型并训练模型直至收敛，得到最佳的模型参数用于模型的推断。对任意输入的人脸关键点解耦成身份和表情隐变量，任意组合两者可以生成新的人脸关键点。
-
公开(公告)号：CN115050087B
公开(公告)日：2022-11-18
申请号：CN202210981411.8
申请日：2022-08-16
Applicant: 之江实验室
IPC: G06V40/16 , G06V10/774
Abstract: 本发明公开了一种人脸关键点身份和表情解耦方法及装置，该方法包括：建立模型、训练模型和模型推断三个部分。本发明首先是从人脸图片中进行提取的人脸关键点，然后基于变分自编码器构建模型，其编码器部分将人脸关键点解耦成两个正交的身份隐变量和表情隐变量，解码器部分融合两者并解码成人脸关键点；采集大量的人脸说话视频数据，提取视频每帧的人脸关键点坐标，构建模型并训练模型直至收敛，得到最佳的模型参数用于模型的推断。对任意输入的人脸关键点解耦成身份和表情隐变量，任意组合两者可以生成新的人脸关键点。
-
-
-
Search Results
4
records
(took 0.028 seconds)
