公开(公告)号：CN113378697A

公开(公告)日：2021-09-10

申请号：CN202110637611.7

申请日：2021-06-08

Applicant: 安徽大学

Inventor： 李腾 ,  刘晨然 ,  王妍

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G10L21/10

Abstract: 本发明公开了一种基于卷积神经网络的说话人脸视频生成方法及装置，所述方法包括：构建数据集；设计唇音同步判别器；利用数据集训练唇音同步判别器，得到训练好的唇音同步判别器；构建说话人脸生成网络；利用数据集训练说话人脸生成网络，得到训练好的说话人脸生成网络；将目标语音和目标人物的人脸图片输入训练好的说话人脸生成网络生成目标人物说目标语音的视频；本发明的优点在于：能够生成清晰度较高且唇部运动与语音同步的真实性较高的说话人脸视频。

公开(公告)号：CN113378697B

公开(公告)日：2022-12-09

申请号：CN202110637611.7

申请日：2021-06-08

Applicant: 安徽大学

Inventor： 李腾 ,  刘晨然 ,  王妍

IPC: G06V40/16 ,  G06V40/20 ,  G06V10/74 ,  G06V10/774 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08 ,  G10L21/10

Abstract: 本发明公开了一种基于卷积神经网络的说话人脸视频生成方法及装置，所述方法包括：构建数据集；设计唇音同步判别器；利用数据集训练唇音同步判别器，得到训练好的唇音同步判别器；构建说话人脸生成网络；利用数据集训练说话人脸生成网络，得到训练好的说话人脸生成网络；将目标语音和目标人物的人脸图片输入训练好的说话人脸生成网络生成目标人物说目标语音的视频；本发明的优点在于：能够生成清晰度较高且唇部运动与语音同步的真实性较高的说话人脸视频。