-
公开(公告)号:CN114241102A
公开(公告)日:2022-03-25
申请号:CN202111334742.4
申请日:2021-11-11
Applicant: 清华大学
Abstract: 本申请提出了一种基于参数化模型的人脸细节重建和编辑方法,包括:对人脸图片进行人脸关键点检测获取关键点;求解FaceScape双线性模型的身份系数和表情系数;对求解后的FaceScape双线性模型进行解耦,将人脸图片展开到贴图空间使三维人脸的关键点上每个顶点的颜色值对应于人脸图片的关键点上对应像素的颜色值;根据固定表情系数,以及用户设置的身份系数和年龄系数计算偏置贴图;将偏置贴图中的灰度值作为每个顶点的变形量,并根据其对三维人脸的关键点上每个顶点的位置信息进行更新,对更新后的三维人脸的关键点上每个顶点的位置信息进行渲染,根据渲染后的人脸图像生成人脸重建结果。本申请提升了参数化人脸模型的重建质量,并生成带动态皱纹细节的人脸动画。
-
公开(公告)号:CN110689625B
公开(公告)日:2021-07-16
申请号:CN201910840594.X
申请日:2019-09-06
Applicant: 清华大学
IPC: G06T19/20
Abstract: 本发明公开了一种定制人脸混合表情模型自动生成方法及装置,该方法包括:利用RGB‑D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册,根据非刚性注册结果和Shape from Shading对人脸三维模板模型进行变形生成中性人脸三维模型;通过Deformation Transfer对中性人脸三维模型和人脸混合模型模板进行处理,生成定制人脸混合模型;通过定制人脸混合模型、Warping Field和Shape from Shading依次对中性人脸三维模型进行变形,生成人脸跟踪结果来更新定制人脸混合模型。该方法可以实时生成逼真的人脸表情模型。
-
公开(公告)号:CN116152436A
公开(公告)日:2023-05-23
申请号:CN202310070689.4
申请日:2023-01-13
Applicant: 清华大学
Abstract: 本申请涉及三维计算机视觉技术领域,特别涉及一种三维几何重建方法、装置、电子设备及存储介质,其中,方法包括:采集目标在不同光照条件下的图像数据;识别图像数据中目标在不同光照条件下投射的阴影信息;基于阴影信息对目标的可见区域与不可见区域进行三维几何重建,得到以神经距离场表达的三维几何。由此,解决了相关技术中三维几何重建成本高、标定复杂且难以推广等问题。
-
公开(公告)号:CN112541958B
公开(公告)日:2022-09-09
申请号:CN202011522571.3
申请日:2020-12-21
Applicant: 清华大学
Abstract: 本申请提出一种三维人脸的参数化建模方法和装置,涉及图像处理技术领域,其中,方法包括:对每一人脸图像进行局部分区,建立每个人脸局部分区对应的局部训练编码器;从预先建立的偏置贴图中获取每一人脸图像对应的人脸偏置贴图,通过局部训练编码器分别对人脸偏置贴图进行编码,获取低维度特征向量;通过训练解码器对低维度特征向量、每一人脸图像对应的标注年龄和表情进行处理,获取重建偏置贴图;根据重建偏置贴图和人脸偏置贴图的误差对局部训练编码器和训练解码器的参数进行调整。由此,可以拟合低质量的人脸扫描数据恢复高质量的细节,生成的细节应用到双线性模型上,生成带细节的人脸动画。
-
公开(公告)号:CN114399574B
公开(公告)日:2024-06-25
申请号:CN202111490835.6
申请日:2021-12-08
Applicant: 清华大学
IPC: G06T13/40
Abstract: 本申请提出了一种为单个人脸扫描数据生成带细节表情动画的方法,涉及计算机图形学技术领域,其中,该方法包括:采集单个人脸扫描数据;对单个人脸扫描数据进行预处理,得到原始偏置贴图和人脸网格;使用一段含有人脸动作的视频提取人脸表情,生成一段表情系数序列;将原始偏置贴图和表情系数序列输入训练好的深度网络中,输出的图像作为新的偏移贴图;将人脸网格和所述新的偏移贴图导入至动画软件进行渲染,得到每一帧的动画结果,将所有的动画结果进行拼接,获得人脸动画视频。采用上述方案的本申请只需要输入用户在任意表情下采集到的单一扫描数据,即可生成各种表情下的表情动画,可以降低动画制作的成本,对三维人脸动画进行加速和数据压缩。
-
公开(公告)号:CN116912391A
公开(公告)日:2023-10-20
申请号:CN202310730256.7
申请日:2023-06-19
Applicant: 清华大学
IPC: G06T15/06
Abstract: 本申请涉及一种结合神经辐射场和可导路径跟踪的逆向渲染方法及装置,其中,方法包括:从多个视角采集目标环境光照下的静态物体,得到多张静态物体图像;根据静态物体图像求解物体的几何、材质和周围环境的环境光照;根据物体的几何、材质和周围环境的环境光照得到物体在任一光照和/或视角下的渲染合成结果。由此,解决了相关技术中,基于物理的渲染方法需要采样很多条光路,并且每个光路要递归很多层,由于光路多且长,可导渲染的计算时间、内存往往很大而难以在消费级计算机上承受,且神经辐射场没有显式的材质表示,不能进行重光照,无法实现对物体新光照、新视角下的渲染合成等问题。
-
公开(公告)号:CN114241102B
公开(公告)日:2024-04-19
申请号:CN202111334742.4
申请日:2021-11-11
Applicant: 清华大学
Abstract: 本申请提出了一种基于参数化模型的人脸细节重建和编辑方法,包括:对人脸图片进行人脸关键点检测获取关键点;求解FaceScape双线性模型的身份系数和表情系数;对求解后的FaceScape双线性模型进行解耦,将人脸图片展开到贴图空间使三维人脸的关键点上每个顶点的颜色值对应于人脸图片的关键点上对应像素的颜色值;根据固定表情系数,以及用户设置的身份系数和年龄系数计算偏置贴图;将偏置贴图中的灰度值作为每个顶点的变形量,并根据其对三维人脸的关键点上每个顶点的位置信息进行更新,对更新后的三维人脸的关键点上每个顶点的位置信息进行渲染,根据渲染后的人脸图像生成人脸重建结果。本申请提升了参数化人脸模型的重建质量,并生成带动态皱纹细节的人脸动画。
-
公开(公告)号:CN114399574A
公开(公告)日:2022-04-26
申请号:CN202111490835.6
申请日:2021-12-08
Applicant: 清华大学
IPC: G06T13/40
Abstract: 本申请提出了一种为单个人脸扫描数据生成带细节表情动画的方法,涉及计算机图形学技术领域,其中,该方法包括:采集单个人脸扫描数据;对单个人脸扫描数据进行预处理,得到原始偏置贴图和人脸网格;使用一段含有人脸动作的视频提取人脸表情,生成一段表情系数序列;将原始偏置贴图和表情系数序列输入训练好的深度网络中,输出的图像作为新的偏移贴图;将人脸网格和所述新的偏移贴图导入至动画软件进行渲染,得到每一帧的动画结果,将所有的动画结果进行拼接,获得人脸动画视频。采用上述方案的本申请只需要输入用户在任意表情下采集到的单一扫描数据,即可生成各种表情下的表情动画,可以降低动画制作的成本,对三维人脸动画进行加速和数据压缩。
-
公开(公告)号:CN112541958A
公开(公告)日:2021-03-23
申请号:CN202011522571.3
申请日:2020-12-21
Applicant: 清华大学
Abstract: 本申请提出一种三维人脸的参数化建模方法和装置,涉及图像处理技术领域,其中,方法包括:对每一人脸图像进行局部分区,建立每个人脸局部分区对应的局部训练编码器;从预先建立的偏置贴图中获取每一人脸图像对应的人脸偏置贴图,通过局部训练编码器分别对人脸偏置贴图进行编码,获取低维度特征向量;通过训练解码器对低维度特征向量、每一人脸图像对应的标注年龄和表情进行处理,获取重建偏置贴图;根据重建偏置贴图和人脸偏置贴图的误差对局部训练编码器和训练解码器的参数进行调整。由此,可以拟合低质量的人脸扫描数据恢复高质量的细节,生成的细节应用到双线性模型上,生成带细节的人脸动画。
-
公开(公告)号:CN117788709A
公开(公告)日:2024-03-29
申请号:CN202311828039.8
申请日:2023-12-27
Applicant: 清华大学
Abstract: 本申请提出了一种基于神经辐射场的可微光源建模方法及装置,属于图形学和三维计算机视觉技术领域,该方法包括:从多视角的拍摄图像中重建神经辐射场来表达光源,将高斯混合模型作为辐射场的代理分布模型,利用采样和概率密度估计方法对辐射场中光照较亮的区域进行更充分的采样,通过建模后的光源与场景中的几何和材质参数一起使用梯度下降法进行共同优化,从而协助进行三维重建。基于本申请提出的方案,与传统的环境光贴图相比,能够准确地建模近距离光源,使室内场景的渲染和微分更加准确,避免了环境光贴图对光源的无限远假设,并且,本申请还支持在场景中插入虚拟物体,实现虚实结合的视觉效果。
-
-
-
-
-
-
-
-
-