公开(公告)号：CN115272565A

公开(公告)日：2022-11-01

申请号：CN202210842557.4

申请日：2022-07-18

Applicant: 聚好看科技股份有限公司 ,  清华大学 ,  海信视像科技股份有限公司

Inventor： 赵笑晨 ,  刘烨斌 ,  刘帅 ,  梁大才 ,  王宝云 ,  于芝涛 ,  吴连朋

IPC: G06T17/00 ,  G06T15/00 ,  G06T7/593 ,  G06N3/08

Abstract: 本申请提供一种头部三维模型的重建方法及电子设备，用于提高头部三维模型的质量。包括：针对任一目标对象，将目标对象的多视角RGBD图像输入至预先训练好的头部三维模型重建神经网络中，得到头部三维模型；其中，头部三维模型重建神经网络通过训练方式为：将训练样本输入至头部三维模型重建神经网络，得到各渲染图像的预测sdf值、各预测渲染图像和头部三维模型，其中，训练样本包括头部三维模型在不同视角和光照进行渲染后的各渲染图像和各渲染图像的目标sdf值；利用基于各预测渲染图像和各渲染图像得到的第一中间损失值和基于预测sdf值和目标sdf值得到的第二中间损失值，确定目标损失值；若目标损失值大于指定阈值，则结束训练。

公开(公告)号：CN111476884B

公开(公告)日：2022-10-25

申请号：CN202010239613.6

申请日：2020-03-30

Applicant: 清华大学

Inventor： 刘烨斌 ,  王立祯 ,  赵笑晨 ,  于涛 ,  戴琼海

IPC: G06T17/00 ,  G06T7/55 ,  G06T15/20 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于单帧RGBD图像的实时三维人体重建方法及系统，其中，方法包括：将渲染后的数据集作为训练训练数据，并训练得到负责正面深度图优化的Gdf网络、正面彩色图像去光照的Gcf网络、预测背面深度图的Gdb网络和预测背面彩色图像的Gcd网络；将当前RGBD图像转换到正交视角下以输入到Gdf和Gcf网络中，得到优化和去光照后的正面图像，将正面图像输入到Gdb和Gcb网络中得到预测后的背面图像，并利用正面和背面图像将像素点投影到三维空间中得到带颜色的三维点集，并且将带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型。该方法利用深度相机采集的RGBD图片精细且快速地进行人体的三维重建。

公开(公告)号：CN110428493B

公开(公告)日：2021-11-02

申请号：CN201910631389.2

申请日：2019-07-12

Applicant: 清华大学

Inventor： 刘烨斌 ,  赵笑晨 ,  戴琼海

IPC: G06T17/00 ,  G06T7/11 ,  G06T5/50

Abstract: 本发明公开了一种基于网格形变的单图像人体三维重建方法及系统，其中，该方法包括以下步骤：采集单图片和人体模型，以及人体模型对应的初始人体三维模型，并利用初始人体三维模型构建人体模型数据库，以作为卷积神经网络的初始数据；对初始数据进行渲染得到卷积神经网络训练时的输入图片；利用数据流编程深度学习平台构建卷积神经网络，以根据输入图片提取出人体关节位置概率分布图；对单图片进行人体分割标注，得到人体分割标注图；根据单图片、人体分割标注图和人体关节位置概率分布图对卷积神经网络进行训练，得到最终人体三维模型。该方法可以更轻量且更好地表现人体模型细节特征，得到拥有更多三维几何细节特征的人体模型。

公开(公告)号：CN111402397A

公开(公告)日：2020-07-10

申请号：CN202010128595.4

申请日：2020-02-28

Applicant: 清华大学

Inventor： 刘烨斌 ,  赵笑晨 ,  王立祯 ,  于涛 ,  戴琼海

IPC: G06T17/00 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明公开了一种基于无监督数据的TOF深度数据优化方法及装置，其中，方法包括：获取不含噪声的人体三维模型数据库；确定模拟噪声的自变量；分别在纵向方向和横向方向添加噪声；对原始三维模型和加噪后的三维模型进行渲染，并搭建编码器解码器网络；设计能量函数和监督网络，将网络输出结果输入监督网络，约束监督网络逐卷积层提取的特征图趋近；利用人体三维模型数据库和能量函数对生成式对抗神经网络中的生成器和鉴别器的参数权重进行迭代回归优化，直至权重收敛，将采集的真实场景下人物深度图片作为输入，得到包含几何细节且不含噪声的人体网格模型。该方法使用无监督的三维扫描数据生成式对抗网络，在保留几何细节的同时提升深度数据质量。