公开(公告)号：CN116993929B

公开(公告)日：2024-01-16

申请号：CN202311263345.1

申请日：2023-09-27

Applicant: 北京大学深圳研究生院

Inventor： 刘梦源 ,  王璇 ,  丁润伟 ,  冯卫妮 ,  孟凡阳

IPC: G06T17/00 ,  G06T15/20 ,  G06V40/18 ,  G06V10/774

Abstract: 本申请公开了一种基于人眼动态变化的三维人脸重建方法、装置及存储介质，方法包括：利用初始三维人脸模型确定的三维人脸来确定渲染图像；利用眼状态检测器确定闭眼概率，基于闭眼概率来对人眼关键点进行调整以得到调整后的训练图像；基于渲染图像、训练图像和调整后的训练图像确定的混合损失函数和动态损失函数训练初始三维人脸模型，以得到三维人脸模型；基于三维人脸模型生成重建三维人脸。本申请通过眼状态检测器捕捉的动态细节来确定闭眼概率，根据闭眼概率来对人眼关键点进行调整，通过在弱监督学习过程中引入利用调整后的人眼关键点的动态损失函数，解决了人脸局部区域三维重建的不一致性问题，提高了重建三维人(56)对比文件Jingxiang Sun et al.Next3D:Generative Neural Texture Rasterizationfor 3D-Aware Head Avatars.arxiv.2023,第1-12页.

公开(公告)号：CN116993929A

公开(公告)日：2023-11-03

申请号：CN202311263345.1

申请日：2023-09-27

Applicant: 北京大学深圳研究生院

Inventor： 刘梦源 ,  王璇 ,  丁润伟 ,  冯卫妮 ,  孟凡阳

IPC: G06T17/00 ,  G06T15/20 ,  G06V40/18 ,  G06V10/774

Abstract: 本申请公开了一种基于人眼动态变化的三维人脸重建方法、装置及存储介质，方法包括：利用初始三维人脸模型确定的三维人脸来确定渲染图像；利用眼状态检测器确定闭眼概率，基于闭眼概率来对人眼关键点进行调整以得到调整后的训练图像；基于渲染图像、训练图像和调整后的训练图像确定的混合损失函数和动态损失函数训练初始三维人脸模型，以得到三维人脸模型；基于三维人脸模型生成重建三维人脸。本申请通过眼状态检测器捕捉的动态细节来确定闭眼概率，根据闭眼概率来对人眼关键点进行调整，通过在弱监督学习过程中引入利用调整后的人眼关键点的动态损失函数，解决了人脸局部区域三维重建的不一致性问题，提高了重建三维人脸的准确性。