发明公开
- 专利标题: 一种基于文本驱动的真实感虚拟人生成方法及装置
-
申请号: CN202211578709.0申请日: 2022-12-05
-
公开(公告)号: CN115984429A公开(公告)日: 2023-04-18
- 发明人: 百晓 , 吴禹辰 , 李嘉禾 , 王晨
- 申请人: 北京航空航天大学 , 北京航空航天大学江西研究院
- 申请人地址: 北京市海淀区学院路37号;
- 专利权人: 北京航空航天大学,北京航空航天大学江西研究院
- 当前专利权人: 北京航空航天大学,北京航空航天大学江西研究院
- 当前专利权人地址: 北京市海淀区学院路37号;
- 主分类号: G06T13/20
- IPC分类号: G06T13/20 ; G06T13/40 ; G10L13/08 ; G06V40/20 ; G06T3/40 ; G06T5/00
摘要:
本发明提出一种基于文本驱动的真实感虚拟人生成方法:获取驱动视频与驱动文本;构造文本‑动作字典,根据文本中的内容来选定相应动作,并通过语音合成技术获得与文本对应的驱动音频,同时获得驱动文本中每个字段在音频中出现的字段时间戳,采用视频帧插值的中间流估计算法把动作帧插入到驱动视频中;引入音频到唇形生成模型,利用唇形判别器来获得准确而逼真的唇部运动;利用面部增强模型,加强对人脸区域的约束,通过增强人脸分辨率和画面细节来提升虚拟人的视觉质量;将音频与整个人物画面同步生成具有真实感的虚拟人视频。本发明有助于提高虚拟人的质量。