-
公开(公告)号:CN113674373B
公开(公告)日:2024-04-26
申请号:CN202110750162.7
申请日:2021-07-02
Applicant: 清华大学
IPC: G06T11/00 , G06T13/80 , G06N3/0464
Abstract: 本发明本发明公开了一种基于深度学习的人脸真实感渲染方法,其中,方法包括:预先采集人脸视频数据集,基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络,根据人脸视频数据集建立人脸混和模型,并对人脸混和模型进行重建,根据人脸神经纹理和重建后的人脸混合模型对人脸进行操控,得到人脸不同表情下的真实感渲染结果。该方法基于深度学习的渲染方式给定训练得到的神经纹理的渲染网络的输入光照以及人脸运动,对人脸的神经纹理在相机空间的投影进行处理,得到逼真的渲染结果。
-
公开(公告)号:CN112614229B
公开(公告)日:2022-09-09
申请号:CN202011598566.0
申请日:2020-12-29
Applicant: 清华大学
Abstract: 本申请提出一种基于深度学习的人脸重建方法和装置,涉及图像处理技术领域,其中,方法包括:获取人脸多视角图片数据集,利用多视角重建方法对人脸多视角图片数据集中的人脸多视角图片进行重建,获取不同用户的人脸三维几何和纹理图;通过深度卷积神经网络对不同用户的人脸三维几何和纹理图和人脸多视角图片数据集进行训练,获取深度神经网络;将待处理的人脸视频输入深度神经网络进行处理,获取人脸视频的中每一帧的人脸三维几何和纹理图。由此,仅需用户录制一段做不同表情的人脸视频,就可以得到该人脸的几何和纹理,重建出的几何和纹理具有更高的精度。
-
公开(公告)号:CN111145225A
公开(公告)日:2020-05-12
申请号:CN201911114894.6
申请日:2019-11-14
Applicant: 清华大学
Abstract: 本发明公开了一种三维人脸的非刚性配准方法及装置,其中,方法包括以下步骤:通过结点驱动的网格变形方式,对输入的三维人脸模板进行非刚性形变,得到结点驱动的结果;为目标扫描建立一颗八叉树,并用于结点驱动的结果上的顶点沿着法向和目标模型求交;在迭代过程中,为模板上每个顶点沿着法向寻找在目标模型上的对应点,接以对应点作为约束,对模板网格进行拉普拉斯变形,直至满足预设迭代条件,获得与目标模型表面贴近的中间结果;根据中间结果,为每个顶点计算沿着法向的位移,得到模板上每个顶点的最终位置,得到最终非刚性配准结果。该方法可以使得配准的结果不仅较好地维持了模板的拓扑结构,同时能够捕捉目标模型的几何细节。
-
公开(公告)号:CN110689625A
公开(公告)日:2020-01-14
申请号:CN201910840594.X
申请日:2019-09-06
Applicant: 清华大学
IPC: G06T19/20
Abstract: 本发明公开了一种定制人脸混合表情模型自动生成方法及装置,该方法包括:利用RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册,根据非刚性注册结果和Shape from Shading对人脸三维模板模型进行变形生成中性人脸三维模型;通过Deformation Transfer对中性人脸三维模型和人脸混合模型模板进行处理,生成定制人脸混合模型;通过定制人脸混合模型、Warping Field和Shape from Shading依次对中性人脸三维模型进行变形,生成人脸跟踪结果来更新定制人脸混合模型。该方法可以实时生成逼真的人脸表情模型。
-
公开(公告)号:CN109389551A
公开(公告)日:2019-02-26
申请号:CN201811167716.5
申请日:2018-10-08
Applicant: 清华大学
Abstract: 本发明公开了一种中性表情正向人脸图片方法及装置,其中,该方法包括:通过人脸三维重建对数据集中的人脸图片进行处理,以获取人脸几何与人脸的反射属性;训练输入为人脸图片,且输出为中性人脸几何及其完整反射属性的深度神经网络;预训练生成最终正向中性人脸图片的网络,且在预训练时,使用训练集中的中性正向人脸图片提取出的中性人脸几何与完整反射属性作为输入,并将图片作为目标输出;将深度神经网络和生成最终正向中性人脸图片的网络协同并同时进行训练,以减小生成对抗误差。该方法可以生成具有真实感的中性正向人脸图片,仅需输入单张人脸图片,并且不受人脸图片的表情、面部角度和朝向的限制。
-
公开(公告)号:CN111583128B
公开(公告)日:2022-08-12
申请号:CN202010275587.2
申请日:2020-04-09
Applicant: 清华大学
Abstract: 本发明公开了一种基于深度学习和真实感渲染的人脸图片高光去除方法,包括:通过人脸采集系统采集不同的人在不同表情下的高精度人脸三维模型;利用高精度人脸三维模型渲染逼真人脸图片,并在渲染时分别渲染得到图片中的高光分量和漫反射分量;利用渲染出的逼真人脸图片以及高光分量和漫反射分量作为训练的强监督数据训练生成对抗网络得到人脸图片高光去除网络;将待处理人脸图片输入人脸图片高光去除网络,通过人脸图片高光去除网络提取出待处理人脸图片中的漫反射分量,进而得到高光去除后的人脸图片。该方法可以对各种人脸图片进行处理,不受人脸表情,人脸朝向和环境光照的影响。
-
公开(公告)号:CN113674373A
公开(公告)日:2021-11-19
申请号:CN202110750162.7
申请日:2021-07-02
Applicant: 清华大学
Abstract: 本发明本发明公开了一种基于深度学习的人脸真实感渲染方法及装置,其中,方法包括:预先采集人脸视频数据集,基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络,根据人脸视频数据集建立人脸混和模型,并对人脸混和模型进行重建,根据人脸神经纹理和重建后的人脸混合模型对人脸进行操控,得到人脸不同表情下的真实感渲染结果。该方法基于深度学习的渲染方式给定训练得到的神经纹理的渲染网络的输入光照以及人脸运动,对人脸的神经纹理在相机空间的投影进行处理,得到逼真的渲染结果。
-
公开(公告)号:CN110689625B
公开(公告)日:2021-07-16
申请号:CN201910840594.X
申请日:2019-09-06
Applicant: 清华大学
IPC: G06T19/20
Abstract: 本发明公开了一种定制人脸混合表情模型自动生成方法及装置,该方法包括:利用RGB‑D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册,根据非刚性注册结果和Shape from Shading对人脸三维模板模型进行变形生成中性人脸三维模型;通过Deformation Transfer对中性人脸三维模型和人脸混合模型模板进行处理,生成定制人脸混合模型;通过定制人脸混合模型、Warping Field和Shape from Shading依次对中性人脸三维模型进行变形,生成人脸跟踪结果来更新定制人脸混合模型。该方法可以实时生成逼真的人脸表情模型。
-
公开(公告)号:CN108596062B
公开(公告)日:2021-04-06
申请号:CN201810327486.8
申请日:2018-04-12
Applicant: 清华大学
Abstract: 本发明公开了一种基于深度学习的人脸图片实时高光去除方法及装置,其中,方法包括:通过人脸拟合方法从人脸图片中提取人脸区域;从人脸区域中提取人脸高光分布图,以建立人脸图片与人脸高光分布图构成的数据集;通过深度学习生成对抗网络,并通过数据集对对抗网络训练,以获取去除高光网络模型;通过去除高光网络模型去除人脸图片的高光,以得到人脸图片的高光去除结果。该方法能够在去除高光的同时输出具有很强真实感的图片,简单易实现,应用范围广。
-
公开(公告)号:CN109902616B
公开(公告)日:2020-12-01
申请号:CN201910138641.6
申请日:2019-02-25
Applicant: 清华大学
Abstract: 本发明公开了一种基于深度学习的人脸三维特征点检测方法及系统,其中,该方法包括:建立人脸数据集,通过人脸三维重建对人脸数据集中的人脸图片进行处理获取人脸几何;在人脸模板上标定特定顶点为特征点,建立人脸图片与其对应的人脸三维特征点构成的数据集;训练输入为人脸图片,且输出为人脸三维特征点坐标的分布热度图的深度神经网络;训练时采用生成对抗网络以利用鉴别网络,输入为人脸图片和三维特征点分布热度图,输出真假值表示输入的人脸图片和三维特征点分布热度图是否配套,以通过训练后的神经网络得到检测结果。该方法可以检测图片中人脸特征点的三维坐标,且人脸边缘点与人脸模型之间具有很强的联系,使得人脸重建结果更为准确。
-
-
-
-
-
-
-
-
-