基于隐空间解耦的人脸编辑的深度视频传播方法

    公开(公告)号:CN114845067A

    公开(公告)日:2022-08-02

    申请号:CN202210779300.9

    申请日:2022-07-04

    Abstract: 本发明涉及一种基于隐空间解耦的人脸编辑的深度视频传播方法。本发明的技术方案为:获取待编辑视频和编辑帧,其中待编辑视频中至少一帧视频帧包含人脸图像,所述编辑帧为对待编辑视频中包含人脸图像的视频帧进行人脸编辑后得到;从待编辑视频的视频帧和编辑帧中裁剪出人脸图像并对齐面部,得到视频帧和编辑帧各自的面部对齐图像;基于视频帧和编辑帧的面部对齐图像获取视频帧和编辑帧各自的3DMM参数。本发明适用于计算机视觉、计算机图形学领域。本发明通过将对齐的人脸图像深度解耦到生成模型的隐空间中,实现动作、外貌、几何的解耦,进而修改需要传播的几何、外貌属性而不影响原视频的动作内容,实现视频上的人脸编辑传播。

    人脸几何特征编辑方法及深度人脸重塑编辑方法

    公开(公告)号:CN113470182B

    公开(公告)日:2022-02-18

    申请号:CN202111029442.5

    申请日:2021-09-03

    Abstract: 本发明涉及一种人脸几何特征编辑方法及深度人脸重塑编辑方法,为:获取几何基础人脸图像,从几何基础人脸图像上检测出人脸关键点;根据几何基础人脸图像上五官位置将人脸关键点连接成网格,将网格输入图卷积变分自动编码器进行编码;图卷积变分自动编码器在人脸数据集上针对人脸关键点训练而成,将自然人脸脸型参数化,使其隐空间的特征能解码出自然光滑且符合人脸几何特征的人脸关键点;获取人脸关键点中用户确定的不动点和经用户拖动的拖动点,图卷积变分自动编码器根据拖动点拖动前后坐标差和不动点位置优化人脸关键点中其余点位置和人脸关键点连接成的网格;将优化出的网格渲染成人脸几何特征图。本发明适用于计算机视觉、计算机图形学领域。

    基于隐空间解耦的人脸编辑的深度视频传播方法

    公开(公告)号:CN114845067B

    公开(公告)日:2022-11-04

    申请号:CN202210779300.9

    申请日:2022-07-04

    Abstract: 本发明涉及一种基于隐空间解耦的人脸编辑的深度视频传播方法。本发明的技术方案为:获取待编辑视频和编辑帧,其中待编辑视频中至少一帧视频帧包含人脸图像,所述编辑帧为对待编辑视频中包含人脸图像的视频帧进行人脸编辑后得到;从待编辑视频的视频帧和编辑帧中裁剪出人脸图像并对齐面部,得到视频帧和编辑帧各自的面部对齐图像;基于视频帧和编辑帧的面部对齐图像获取视频帧和编辑帧各自的3DMM参数。本发明适用于计算机视觉、计算机图形学领域。本发明通过将对齐的人脸图像深度解耦到生成模型的隐空间中,实现动作、外貌、几何的解耦,进而修改需要传播的几何、外貌属性而不影响原视频的动作内容,实现视频上的人脸编辑传播。

    人脸几何特征编辑方法及深度人脸重塑编辑方法

    公开(公告)号:CN113470182A

    公开(公告)日:2021-10-01

    申请号:CN202111029442.5

    申请日:2021-09-03

    Abstract: 本发明涉及一种人脸几何特征编辑方法及深度人脸重塑编辑方法,为:获取几何基础人脸图像,从几何基础人脸图像上检测出人脸关键点;根据几何基础人脸图像上五官位置将人脸关键点连接成网格,将网格输入图卷积变分自动编码器进行编码;图卷积变分自动编码器在人脸数据集上针对人脸关键点训练而成,将自然人脸脸型参数化,使其隐空间的特征能解码出自然光滑且符合人脸几何特征的人脸关键点;获取人脸关键点中用户确定的不动点和经用户拖动的拖动点,图卷积变分自动编码器根据拖动点拖动前后坐标差和不动点位置优化人脸关键点中其余点位置和人脸关键点连接成的网格;将优化出的网格渲染成人脸几何特征图。本发明适用于计算机视觉、计算机图形学领域。

Patent Agency Ranking