-
公开(公告)号：CN110335343A
公开(公告)日：2019-10-15
申请号：CN201910512083.5
申请日：2019-06-13
申请人： 清华大学
摘要： 本发明公开了一种基于RGBD单视角图像人体三维重建方法及装置，其中，方法包括：通过深度相机采集人体的RGBD图片，图片包括单视角彩色图片和深度图片的；根据RGBD图片分别得到三维人体模型参数、人体分割信息和二维关节点信息；根据人体分割信息、二维关节点信息和深度图片得到人体三维关节点信息，以根据人体三维关节点信息对三维人体模型的关节点和身体形状进行约束，并优化三维人体模型参数和三维人体模型；根据优化后的三维人体模型渲染深度图片，并利用单视角彩色图片对优化后的三维人体模型的正面进一步优化，以得到人体的三维重建结果。该方法可以利用深度相机采集到的单帧单视角RGBD图片信息进行人体的三维重建。
-
公开(公告)号：CN118097017A
公开(公告)日：2024-05-28
申请号：CN202410254214.5
申请日：2024-03-06
申请人： 清华大学
IPC分类号： G06T17/00 , G06T15/08 , G06T7/49 , G06V40/16 , G06V10/766 , G06V10/82 , G06N3/0455 , G06N3/09
摘要： 本申请提出了一种基于可驱动人脸生成式模型的三维人脸建模方法，该方法包括：采用基于关键点投影匹配的拟合方式对开源的人脸图片进行参数化人脸模板拟合，根据拟合后表情姿态参数，将动态特征映射到三正交平面与静态特征叠加，生成完整的三平面特征图，并通过生成式对抗训练方法获得可驱动人脸生成式模型，并结合2D图片编码器网络和大规模人脸视频数据集，学习观测视频到特定神经特征图的映射，实现对已建模头部虚拟化身的表情姿态驱动。基于本申请提出的方案，在通过常见的单摄像头采集设备采集人脸视频后，即可在数秒内实现高清全息三维人脸化身的建模，并支持高真实感、高自由度的人脸化身动态驱动。
-
公开(公告)号：CN111402397B
公开(公告)日：2022-07-29
申请号：CN202010128595.4
申请日：2020-02-28
申请人： 清华大学
摘要： 本发明公开了一种基于无监督数据的TOF深度数据优化方法及装置，其中，方法包括：获取不含噪声的人体三维模型数据库；确定模拟噪声的自变量；分别在纵向方向和横向方向添加噪声；对原始三维模型和加噪后的三维模型进行渲染，并搭建编码器解码器网络；设计能量函数和监督网络，将网络输出结果输入监督网络，约束监督网络逐卷积层提取的特征图趋近；利用人体三维模型数据库和能量函数对生成式对抗神经网络中的生成器和鉴别器的参数权重进行迭代回归优化，直至权重收敛，将采集的真实场景下人物深度图片作为输入，得到包含几何细节且不含噪声的人体网格模型。该方法使用无监督的三维扫描数据生成式对抗网络，在保留几何细节的同时提升深度数据质量。
-
公开(公告)号：CN113033442A
公开(公告)日：2021-06-25
申请号：CN202110350947.5
申请日：2021-03-31
申请人： 清华大学
摘要： 本发明提出一种基于StyleGAN的高自由度人脸驱动方法和装置，其中，方法包括：通过单摄像头采集第一人脸的第一人脸视频；利用预训练的人脸生成网络StyleGAN2将第一人脸视频映射到隐变量空间，获取人脸向量；对人脸向量进行主元分析，获取主元成分矩阵和平均向量；获取第二人脸的第二人脸视频，对第二人脸视频进行关键点检测生成目标关键点序列；提取目标关键点序列中的主元参数，并根据主元参数、主元成分矩阵和平均向量更新第二人脸视频的姿态参数和表情参数，使得第二人脸视频中的第二人脸替换为第一人脸。由此，可以利用单摄像头拍摄的人脸视频，实现该人脸的高自由度表情和姿态驱动。
-
公开(公告)号：CN111476884B
公开(公告)日：2022-10-25
申请号：CN202010239613.6
申请日：2020-03-30
申请人： 清华大学
摘要： 本发明公开了一种基于单帧RGBD图像的实时三维人体重建方法及系统，其中，方法包括：将渲染后的数据集作为训练训练数据，并训练得到负责正面深度图优化的Gdf网络、正面彩色图像去光照的Gcf网络、预测背面深度图的Gdb网络和预测背面彩色图像的Gcd网络；将当前RGBD图像转换到正交视角下以输入到Gdf和Gcf网络中，得到优化和去光照后的正面图像，将正面图像输入到Gdb和Gcb网络中得到预测后的背面图像，并利用正面和背面图像将像素点投影到三维空间中得到带颜色的三维点集，并且将带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型。该方法利用深度相机采集的RGBD图片精细且快速地进行人体的三维重建。
-
公开(公告)号：CN111754557A
公开(公告)日：2020-10-09
申请号：CN202010472909.2
申请日：2020-05-29
申请人： 清华大学
摘要： 本申请提出一种目标地理区域人脸模板生成方法和装置，方法包括：采集携带有纹理信息的目标地理区域三维人脸数据；将目标地理区域三维人脸数据与三维人脸模板贝塞尔人脸模型BFM进行初步对齐；利用非刚性最近点迭代算法，将BFM进行精细对齐和坐标归一化；对精细对齐和归一化后的BFM进行主元成分分析，得到用于表征人脸形状、表情、和纹理的参数和对应的参数-顶点坐标矩阵。该方法生成的人脸模板准确度高，工作量小，成本低。
-
公开(公告)号：CN111402397A
公开(公告)日：2020-07-10
申请号：CN202010128595.4
申请日：2020-02-28
申请人： 清华大学
摘要： 本发明公开了一种基于无监督数据的TOF深度数据优化方法及装置，其中，方法包括：获取不含噪声的人体三维模型数据库；确定模拟噪声的自变量；分别在纵向方向和横向方向添加噪声；对原始三维模型和加噪后的三维模型进行渲染，并搭建编码器解码器网络；设计能量函数和监督网络，将网络输出结果输入监督网络，约束监督网络逐卷积层提取的特征图趋近；利用人体三维模型数据库和能量函数对生成式对抗神经网络中的生成器和鉴别器的参数权重进行迭代回归优化，直至权重收敛，将采集的真实场景下人物深度图片作为输入，得到包含几何细节且不含噪声的人体网格模型。该方法使用无监督的三维扫描数据生成式对抗网络，在保留几何细节的同时提升深度数据质量。
-
公开(公告)号：CN110197464A
公开(公告)日：2019-09-03
申请号：CN201910441785.9
申请日：2019-05-24
申请人： 清华大学
摘要： 本申请提出一种深度相机深度图实时去噪方法和装置，其中，方法包括：获取待去噪的深度图；利用预先训练好的卷积神经网络，对待去噪的深度图进行去噪处理，获取去噪后的深度图。该方法通过利用预先训练好的卷积神经网络，对待去噪的深度图序列中的深度图进行去噪处理，获取去噪后的深度图序列，由此利用训练好的卷积神经网络模型可以实时地得到经过去噪后的深度图序列，去噪效果较好，并且对其他需要利用深度图片序列作为输入的项目产生明显的优化效果。
-
公开(公告)号：CN117975536A
公开(公告)日：2024-05-03
申请号：CN202410209467.0
申请日：2024-02-26
申请人： 清华大学
摘要： 本申请提出了一种人脸密集特征点检测与表情参数捕捉方法及装置，该方法包括：构建包含独立眼球、牙齿、舌头建模的三维人脸模板，在三维人脸模板中标注密集关键点；获取真实人脸数据集和三维扫描人脸数据集，对真实人脸数据集和三维扫描人脸数据集进行三维人脸模板拟合，得到第一三维人脸模板渲染数据与真实人脸数据对应的第一数据集；对新数据集中的第一三维人脸模板渲染数据的牙齿和舌头进行数据生成与增强，得到第二数据集；利用结合时序信息进行训练的方式，根据第二数据集得到人脸密集特征点检测网络。基于本申请提出的方案，能够实现实时高质量的人脸密集特征点检测和表情捕捉。
-
公开(公告)号：CN111476884A
公开(公告)日：2020-07-31
申请号：CN202010239613.6
申请日：2020-03-30
申请人： 清华大学
摘要： 本发明公开了一种基于单帧RGBD图像的实时三维人体重建方法及系统，其中，方法包括：将渲染后的数据集作为训练训练数据，并训练得到负责正面深度图优化的Gdf网络、正面彩色图像去光照的Gcf网络、预测背面深度图的Gdb网络和预测背面彩色图像的Gcd网络；将当前RGBD图像转换到正交视角下以输入到Gdf和Gcf网络中，得到优化和去光照后的正面图像，将正面图像输入到Gdb和Gcb网络中得到预测后的背面图像，并利用正面和背面图像将像素点投影到三维空间中得到带颜色的三维点集，并且将带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型。该方法利用深度相机采集的RGBD图片精细且快速地进行人体的三维重建。
-
-
-
-
-
-
-
-
-
搜索结果
13 条记录 (耗时 0.017 秒)
