一种基于文本驱动的真实感虚拟人生成方法及装置
摘要:
本发明提出一种基于文本驱动的真实感虚拟人生成方法:获取驱动视频与驱动文本;构造文本‑动作字典,根据文本中的内容来选定相应动作,并通过语音合成技术获得与文本对应的驱动音频,同时获得驱动文本中每个字段在音频中出现的字段时间戳,采用视频帧插值的中间流估计算法把动作帧插入到驱动视频中;引入音频到唇形生成模型,利用唇形判别器来获得准确而逼真的唇部运动;利用面部增强模型,加强对人脸区域的约束,通过增强人脸分辨率和画面细节来提升虚拟人的视觉质量;将音频与整个人物画面同步生成具有真实感的虚拟人视频。本发明有助于提高虚拟人的质量。
0/0