基于光流引导和文本驱动的视频人像一致性编辑方法

    公开(公告)号:CN119887502A

    公开(公告)日:2025-04-25

    申请号:CN202510363898.7

    申请日:2025-03-26

    Abstract: 本发明公开了一种基于光流引导和文本驱动的视频人像一致性编辑方法,包括:首先利用人脸关键点提取方法、深度估计方法分别提取输入视频每一帧的面部关键点和深度图,确保编辑后的人像和源图像面部表情的一致性;然后使用扩散控制网络对以人脸深度图、关键点和用户输入文本描述为条件来进行编辑生成,并通过注意力机制的潜在编码对齐和光流变化的引导,实现多视角编辑的一致性;接着,利用帧间光流变化和深度图变化构建时间一致的扩散模型。通过以上步骤,本发明解决了在视频编辑中多视角和时间一致性的问题,实现了高质量的视频人像编辑。

Patent Agency Ranking