公开(公告)号：CN117979053A

公开(公告)日：2024-05-03

申请号：CN202410156804.4

申请日：2024-02-02

申请人： 西安电子科技大学

发明人： 卢子祥 ,  田步甲 ,  苗启广 ,  谢琨 ,  刘如意 ,  权义宁

IPC分类号： H04N21/234 ,  G06T13/20 ,  G06T13/40 ,  H04N21/233 ,  H04N21/44 ,  H04N21/439 ,  G10L25/18 ,  G10L25/21 ,  G10L25/24 ,  G10L19/16

摘要： 本发明公开了使用生成式说话头的视频课程增强方法，首先，对提供的教师图像或者短视频进行预处理；对完整的输入音频进行切片操作，将多帧的音频切片为一个特征块，再采用特征提取器提取输入音频中的特征；利用三维可变形模型提取三维人脸特征；将提取的音频特征和三维人脸特征作为说话头生成网络的输入；再将输出的特征进入神经渲染器进行渲染，得到说话头视频；最后，将说话头视频与屏幕录制视频融合，得到最终的视频课程。使用本发明方法生成的说话头视频嘴唇部分分辨率高，基本无扭曲变形，更生动真实。