联合优化人体体态与外观模型的三维重建方法及系统

    公开(公告)号:CN108665537A

    公开(公告)日:2018-10-16

    申请号:CN201810460079.4

    申请日:2018-05-15

    IPC分类号: G06T17/00 G06T7/80

    摘要: 本发明公开了一种联合优化人体体态与外观模型的三维重建方法及系统,其中,方法包括以下步骤:对人体进行深度图拍摄,以得到单张深度图像;将单张深度图像变换为三维点云,并获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对;根据匹配点对建立能量函数,并共同求解重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体体态模型参数;对能量函数进行求解,并根据求解结果将重建模型与三维点云进行对齐;通过深度图更新和补全对齐后的模型,以进行实时人体动态三维重建。该方法可以有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。

    联合刚性运动和非刚性形变的三维重建方法及装置

    公开(公告)号:CN108711185B

    公开(公告)日:2021-05-28

    申请号:CN201810460091.5

    申请日:2018-05-15

    IPC分类号: G06T17/00 G06T7/521

    摘要: 本发明公开了一种联合刚性运动和非刚性形变的三维重建方法及装置,其中,方法包括:对目标对象进行基于深度相机的拍摄得到单张深度图像;通过三维骨架提取算法对深度点云进行三维骨架提取;获取三维点云和重建模型顶点之间的匹配点对;根据匹配点对和三维骨架信息建立能量函数,并求解重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数;对能量函数进行GPU优化求解,以获得每个表面顶点的非刚性形变,并根据求解结果将前一帧的重建三维模型进行形变,使得形变模型与当前帧三维点云进行对齐;获得当前帧的更新后的模型,以进入下一帧的迭代。该方法可以有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。

    联合优化人体体态与外观模型的三维重建方法及系统

    公开(公告)号:CN108665537B

    公开(公告)日:2020-09-25

    申请号:CN201810460079.4

    申请日:2018-05-15

    IPC分类号: G06T17/00 G06T7/80

    摘要: 本发明公开了一种联合优化人体体态与外观模型的三维重建方法及系统,其中,方法包括以下步骤:对人体进行深度图拍摄,以得到单张深度图像;将单张深度图像变换为三维点云,并获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对;根据匹配点对建立能量函数,并共同求解重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体体态模型参数;对能量函数进行求解,并根据求解结果将重建模型与三维点云进行对齐;通过深度图更新和补全对齐后的模型,以进行实时人体动态三维重建。该方法可以有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。

    联合刚性运动和非刚性形变的三维重建方法及装置

    公开(公告)号:CN108711185A

    公开(公告)日:2018-10-26

    申请号:CN201810460091.5

    申请日:2018-05-15

    IPC分类号: G06T17/00 G06T7/521

    摘要: 本发明公开了一种联合刚性运动和非刚性形变的三维重建方法及装置,其中,方法包括:对目标对象进行基于深度相机的拍摄得到单张深度图像;通过三维骨架提取算法对深度点云进行三维骨架提取;获取三维点云和重建模型顶点之间的匹配点对;根据匹配点对和三维骨架信息建立能量函数,并求解重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数;对能量函数进行GPU优化求解,以获得每个表面顶点的非刚性形变,并根据求解结果将前一帧的重建三维模型进行形变,使得形变模型与当前帧三维点云进行对齐;获得当前帧的更新后的模型,以进入下一帧的迭代。该方法可以有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。

    基于高斯泼溅的大基线多人新视点渲染方法及系统

    公开(公告)号:CN118261811A

    公开(公告)日:2024-06-28

    申请号:CN202410410239.X

    申请日:2024-04-07

    申请人: 清华大学

    发明人: 刘烨斌 周伯尧

    摘要: 本申请提出基于高斯泼溅的大基线多人新视点渲染方法及系统,所述方法包括:获取多个目标视点,并利用多台相机采集多人图像构成多个图像对,然后对多个图像对分别进行立体校正,得到多个第二图像对;将多个第二图像对分别输入到预先训练好的视差预测模型中,得到各所述第二图像对的预测视差图;确定各所述第二图像对的深度图,并将各所述深度图和各第二图像对分别输入到预先训练好的高斯点参数预测模型中,得到各所述第二图像对的高斯点预测参数图及高斯点对应的颜色;确定各第二图像对的高斯点云,并基于各高斯点云分别对多个所述目标视点进行渲染,多个渲染图像。本申请提出的技术方案,结合估计深度和高斯泼溅渲染可以达到高效快速渲染的目的。

    基于神经辐射场的单图像非漫反射场景三维渲染方法

    公开(公告)号:CN118154757A

    公开(公告)日:2024-06-07

    申请号:CN202410271814.2

    申请日:2024-03-11

    申请人: 清华大学

    发明人: 刘烨斌 周玥眉

    IPC分类号: G06T15/50 G06T15/08

    摘要: 本申请提出了一种基于神经辐射场的单图像非漫反射场景三维渲染方法,涉及计算机视觉技术领域,其中,该方法包括:建立非漫反射场景的RGB图像对应的双色反射模型;建立条件扩散模型,以非漫反射场景的RGB图像作为模型输入,输出场景几何估计和双色反射模型对应的场景表面光照反射估计;基于场景表面光照反射估计及场景几何估计构建非漫反射场景下的神经辐射场;通过神经体渲染模型利用构建的神经辐射场对非漫反射场景进行新视点渲染,得到渲染图像。采用上述方案的本发明实现了对单图像非漫反射场景的真实感三维渲染。

    基于多级光流估计和神经渲染的人体全息视点生成方法

    公开(公告)号:CN117876434A

    公开(公告)日:2024-04-12

    申请号:CN202410189857.6

    申请日:2024-02-20

    申请人: 清华大学

    发明人: 刘烨斌 涂汉璋

    摘要: 本发明提供了一种基于多级光流估计和神经渲染的人体全息视点生成方法,通过多级光流的方法,利用视差较小的图像进行估计,得到相对稳定的初值,利用初值进行辅助,估计大视差图像的光流,从而显著提高估计得到的光流以及后续生成的全息视点图像的鲁棒性;同时利用神经渲染技术,增强生成图像的质量,利于后续的展示和观看。本发明适用于稀疏多RGB传感器布置下的高质量实时人体半身全息视点生成。通过本发明,能够对于大视差图像实现稳定、鲁棒的计算。

    基于标签传播算法的多视角人体姿态重建方法

    公开(公告)号:CN111583386B

    公开(公告)日:2022-07-05

    申请号:CN202010313008.9

    申请日:2020-04-20

    申请人: 清华大学

    IPC分类号: G06T17/00 G06T7/80

    摘要: 本发明公开了一种基于标签传播算法的多视角人体姿态重建方法,包括以下步骤:搭建多相机捕捉系统,对多相机捕捉系统中多个工业相机的内参和外参进行标定;利用多相机捕捉系统采集数字信息,将数字信息转码为RGB输入图像;利用预先训练完成的卷积神经网络对输入图像进行姿态估计,得到每个视角下的人体关节候选节点;根据每个视角下的人体关节候选节点求得关节亲和度、极线距离和重投影误差,通过关节亲和度、极线距离和重投影误差构造概率图;利用COPRA社区发现算法对概率图进行求解,得到每个节点的社区隶属关系,利用每个节点的社区隶属关系重建人体的三维骨架姿态。该方法无需依赖可穿戴传感器,操作过程简单且计算量需求小。

    多视点相机下的实时三维人体体型与姿态重建方法及装置

    公开(公告)号:CN110599540B

    公开(公告)日:2022-06-17

    申请号:CN201910716814.8

    申请日:2019-08-05

    申请人: 清华大学

    IPC分类号: G06T7/70 G06T7/80

    摘要: 本发明公开了一种多视点相机下的实时三维人体体型与姿态重建方法及装置,其中,该方法包括:将多个相机架围出捕捉区域,通过相机标定方法标定多个相机的相机内参和相机外参;通过标定后的多个相机在捕捉区域内采集人体图像并处理以使人体图像转码成RGB图像,利用预先训练好的卷积神经网络对RGB图像进行检测并生成每个视角下的人体关节二维坐标信息,并对其进行三角化得到人体三维关节坐标信息;利用人体三维关节坐标信息优化预设人体模型中的姿态参数和形状参数,再通过时域优化稳定优化后的预设人体模型以得到人体三维重建模型。该方法利用深度学习来完成人体姿态的估计,在试验环境下,可以实时对多人的人体模型进行拟合与渲染。

    基于隐式函数和人体模板的单图像人体三维重建方法

    公开(公告)号:CN111340944B

    公开(公告)日:2022-05-17

    申请号:CN202010120114.5

    申请日:2020-02-26

    申请人: 清华大学

    IPC分类号: G06T17/00 G06N3/04 G06N3/08

    摘要: 本发明公开了一种基于隐式函数和人体模板的单图像人体三维重建方法,该方法包括:预处理真实人体几何模型,生成训练数据;构建二维图像特征提取网络、三维体特征提取网络和隐式函数取值推断网络并进行训练;对测试图像预处理获取对应的人体参数化模型实例;将测试图像和对应的人体参数化模型实例分别输入二维图像特征和三维体特征提取网络得到二维图像特征和三维体特征,对于空间中特定范围内的均匀格点采样其对应的图像特征和体特征,输入到隐式函数取值推断网络中,获得该格点落在模型内部的概率;求出格点落在模型内部的概率为0.5的等值面,得到重建后的三维几何模型,该方法只需单张彩色图片就可以实现对图像中出现的人体的三维重建。