一种基于神经纹理的动态人脸重建方法和装置

    公开(公告)号:CN114332321B

    公开(公告)日:2024-06-07

    申请号:CN202111401637.8

    申请日:2021-11-19

    Applicant: 清华大学

    Inventor: 徐枫 王至博

    Abstract: 本发明公开了一种基于神经纹理的动态人脸重建方法和装置,其中,该方法包括:预先采集多视角的人脸视频数据集;基于人脸视频数据集,利用二维神经纹理渲染网络和三维神经纹理渲染网络,对人脸视频数据集进行训练,得到二维神经纹理贴图和三维神经纹理场双层神经纹理,以及双层神经纹理对应的解码网络;基于训练得到的双层神经纹理和对应的解码网络,利用人脸混合模型构建三维仿射变形场,实现动态人脸的驱动。本发明将渲染结果合并则可得到目标光照下的具有真实感的渲染结果。

    基于深度学习的人脸重光照方法及装置

    公开(公告)号:CN107909640B

    公开(公告)日:2020-07-28

    申请号:CN201711078324.7

    申请日:2017-11-06

    Applicant: 清华大学

    Inventor: 徐枫 王至博

    Abstract: 本发明公开了一种基于深度学习的人脸重光照方法及装置,其中,方法包括:获得人脸图片对应的人脸区域图、法向图和表征光照分布图;利用相机参数矩阵、人脸三维模型与光照模型处理照片集,获得网络训练数据集;通过深度学习方法构建人脸重光照网络,其中,利用网络训练数据集进行训练,生成人脸重光照网络;利用相机参数矩阵、人脸三维模型与光照模型处理人脸图片,并利用人脸重光照网络处理输出结果,得到人脸重光照结果。该方法可以利用深度学习方法构建人脸重光照网络,并利用人脸逆重光照正则项和人脸识别网络特征正则项对人脸重光照网络进行训练,且利用人脸重光照网络对人脸进行重光照,从而可以有效提高人脸重光照的真实感和可靠性。

    基于深度学习的人脸重建方法和装置

    公开(公告)号:CN112614229A

    公开(公告)日:2021-04-06

    申请号:CN202011598566.0

    申请日:2020-12-29

    Applicant: 清华大学

    Inventor: 徐枫 王至博

    Abstract: 本申请提出一种基于深度学习的人脸重建方法和装置,涉及图像处理技术领域,其中,方法包括:获取人脸多视角图片数据集,利用多视角重建方法对人脸多视角图片数据集中的人脸多视角图片进行重建,获取不同用户的人脸三维几何和纹理图;通过深度卷积神经网络对不同用户的人脸三维几何和纹理图和人脸多视角图片数据集进行训练,获取深度神经网络;将待处理的人脸视频输入深度神经网络进行处理,获取人脸视频的中每一帧的人脸三维几何和纹理图。由此,仅需用户录制一段做不同表情的人脸视频,就可以得到该人脸的几何和纹理,重建出的几何和纹理具有更高的精度。

    基于深度学习的人脸图片实时高光去除方法及装置

    公开(公告)号:CN108596062A

    公开(公告)日:2018-09-28

    申请号:CN201810327486.8

    申请日:2018-04-12

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于深度学习的人脸图片实时高光去除方法及装置,其中,方法包括:通过人脸拟合方法从人脸图片中提取人脸区域;从人脸区域中提取人脸高光分布图,以建立人脸图片与脸高光分布图构成的数据集;通过深度学习生成对抗网络,并通过数据集对对抗网络训练,以获取去除高光网络模型;通过高光去除网络模型去除人脸图片的高光,以得到人脸图片的高光去除结果。该方法能够在去除高光的同时输出具有很强真实感的图片,简单易实现,应用范围广。

    基于深度学习的人脸重光照方法及装置

    公开(公告)号:CN107909640A

    公开(公告)日:2018-04-13

    申请号:CN201711078324.7

    申请日:2017-11-06

    Applicant: 清华大学

    Inventor: 徐枫 王至博

    Abstract: 本发明公开了一种基于深度学习的人脸重光照方法及装置,其中,方法包括:获得人脸图片对应的人脸区域图、法向图和表征光照分布图;利用相机参数矩阵、人脸三维模型与光照模型处理照片集,获得网络训练数据集;通过深度学习方法构建人脸重光照网络,其中,利用网络训练数据集进行训练,生成人脸重光照网络;利用相机参数矩阵、人脸三维模型与光照模型处理人脸图片,并利用人脸重光照网络处理输出结果,得到人脸重光照结果。该方法可以利用深度学习方法构建人脸重光照网络,并利用人脸逆重光照正则项和人脸识别网络特征正则项对人脸重光照网络进行训练,且利用人脸重光照网络对人脸进行重光照,从而可以有效提高人脸重光照的真实感和可靠性。

    三维卡通人脸生成方法、装置、电子设备及存储介质

    公开(公告)号:CN114299206B

    公开(公告)日:2025-02-18

    申请号:CN202111672607.0

    申请日:2021-12-31

    Abstract: 本申请公开了一种三维卡通人脸生成方法、装置、电子设备及存储介质,涉及计算机图形学技术领域。该方法包括:根据二维真实人脸图像获取三维卡通人脸网格模型;根据所述二维真实人脸图像获取三维卡通人脸纹理贴图;基于所述三维卡通人脸网格模型以及所述三维卡通人脸纹理贴图获取三维卡通人脸。本方法实现了能够根据真实人脸图像生成三维卡通人脸,使得生成的三维卡通人脸具有明显的输入人脸的个性化特征,并且,为三维卡通人脸生成了对应的纹理贴图,使得生成的三维卡通人脸较为美观,提升用户体验。

    三维人脸的非刚性配准方法及装置

    公开(公告)号:CN111145225B

    公开(公告)日:2023-06-06

    申请号:CN201911114894.6

    申请日:2019-11-14

    Applicant: 清华大学

    Abstract: 本发明公开了一种三维人脸的非刚性配准方法及装置,其中,方法包括以下步骤:通过结点驱动的网格变形方式,对输入的三维人脸模板进行非刚性形变,得到结点驱动的结果;为目标扫描建立一颗八叉树,并用于结点驱动的结果上的顶点沿着法向和目标模型求交;在迭代过程中,为模板上每个顶点沿着法向寻找在目标模型上的对应点,接以对应点作为约束,对模板网格进行拉普拉斯变形,直至满足预设迭代条件,获得与目标模型表面贴近的中间结果;根据中间结果,为每个顶点计算沿着法向的位移,得到模板上每个顶点的最终位置,得到最终非刚性配准结果。该方法可以使得配准的结果不仅较好地维持了模板的拓扑结构,同时能够捕捉目标模型的几何细节。

    中性表情正向人脸图片方法及装置

    公开(公告)号:CN109389551B

    公开(公告)日:2023-04-07

    申请号:CN201811167716.5

    申请日:2018-10-08

    Applicant: 清华大学

    Inventor: 徐枫 王至博

    Abstract: 本发明公开了一种中性表情正向人脸图片方法及装置,其中,该方法包括:通过人脸三维重建对数据集中的人脸图片进行处理,以获取人脸几何与人脸的反射属性;训练输入为人脸图片,且输出为中性人脸几何及其完整反射属性的深度神经网络;预训练生成最终正向中性人脸图片的网络,且在预训练时,使用训练集中的中性正向人脸图片提取出的中性人脸几何与完整反射属性作为输入,并将图片作为目标输出;将深度神经网络和生成最终正向中性人脸图片的网络协同并同时进行训练,以减小生成对抗误差。该方法可以生成具有真实感的中性正向人脸图片,仅需输入单张人脸图片,并且不受人脸图片的表情、面部角度和朝向的限制。

    一种基于神经纹理的动态人脸重建方法和装置

    公开(公告)号:CN114332321A

    公开(公告)日:2022-04-12

    申请号:CN202111401637.8

    申请日:2021-11-19

    Applicant: 清华大学

    Inventor: 徐枫 王至博

    Abstract: 本发明公开了一种基于神经纹理的动态人脸重建方法和装置,其中,该方法包括:预先采集多视角的人脸视频数据集;基于人脸视频数据集,利用二维神经纹理渲染网络和三维神经纹理渲染网络,对人脸视频数据集进行训练,得到二维神经纹理贴图和三维神经纹理场双层神经纹理,以及双层神经纹理对应的解码网络;基于训练得到的双层神经纹理和对应的解码网络,利用人脸混合模型构建三维仿射变形场,实现动态人脸的驱动。本发明将渲染结果合并则可得到目标光照下的具有真实感的渲染结果。

    三维卡通人脸生成方法、装置、电子设备及存储介质

    公开(公告)号:CN114299206A

    公开(公告)日:2022-04-08

    申请号:CN202111672607.0

    申请日:2021-12-31

    Abstract: 本申请公开了一种三维卡通人脸生成方法、装置、电子设备及存储介质,涉及计算机图形学技术领域。该方法包括:根据二维真实人脸图像获取三维卡通人脸网格模型;根据所述二维真实人脸图像获取三维卡通人脸纹理贴图;基于所述三维卡通人脸网格模型以及所述三维卡通人脸纹理贴图获取三维卡通人脸。本方法实现了能够根据真实人脸图像生成三维卡通人脸,使得生成的三维卡通人脸具有明显的输入人脸的个性化特征,并且,为三维卡通人脸生成了对应的纹理贴图,使得生成的三维卡通人脸较为美观,提升用户体验。

Patent Agency Ranking