基于深度学习的单图像的人手动作与形状重建方法及装置

    公开(公告)号:CN110197156B

    公开(公告)日:2021-08-17

    申请号:CN201910464503.7

    申请日:2019-05-30

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于深度学习的单图像的人手动作与形状重建方法及装置,其中,该方法包括:通过相机采集包含人手的单视角RGB图片;利用区域检测深度学习算法对单视角RGB图片中的人手区域进行标记,并对单视角RGB图片进行切割提取人手区域作为子图片,对子图片进行归一化和翻转处理;将处理后的子图片输入预先训练好的人手检测神经网络,得到人手的姿态和形状参数;利用参数化人手模型和人手的姿态和形状参数重建出单视角RGB图片中的人手。该方法基于单视角的人手RGB图片,利用深度学习算法检测出人手的姿态参数和形状参数,并使用预先定义的人手三维模板来重建出人手。

    手部运动重建方法和装置

    公开(公告)号:CN110443884B

    公开(公告)日:2021-07-30

    申请号:CN201910646553.7

    申请日:2019-07-17

    Applicant: 清华大学

    Abstract: 本发明提出一种手部运动重建方法和装置,其中,方法包括:获取手部深度数据集,其中,手部深度数据集中的每个手部深度数据中包含手部深度图片信息及其对应的手部骨架坐标;控制预设手部模型分别根据手部深度数据集中每个手部深度数据调整姿态,获取姿态调整后的拟合手部模型的姿态参数;根据与每个手部深度数据对应的拟合手部模型的姿态参数高斯分布函数,以便于根据高斯分布函数进行手部运动重建。本发明解决了现有技术中人手的活动较为灵活复杂,与物体交互过程中常常伴随着严重遮挡的技术问题,通过同构单视点的RGB‑D数据,可以获得更加精确的三维重建结果,在较简单的硬件条件下可以获得较好的物体与手部交互重建结果。

    基于深度学习的单图像的人手动作与形状重建方法及装置

    公开(公告)号:CN110197156A

    公开(公告)日:2019-09-03

    申请号:CN201910464503.7

    申请日:2019-05-30

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于深度学习的单图像的人手动作与形状重建方法及装置,其中,该方法包括:通过相机采集包含人手的单视角RGB图片;利用区域检测深度学习算法对单视角RGB图片中的人手区域进行标记,并对单视角RGB图片进行切割提取人手区域作为子图片,对子图片进行归一化和翻转处理;将处理后的子图片输入预先训练好的人手检测神经网络,得到人手的姿态和形状参数;利用参数化人手模型和人手的姿态和形状参数重建出单视角RGB图片中的人手。该方法基于单视角的人手RGB图片,利用深度学习算法检测出人手的姿态参数和形状参数,并使用预先定义的人手三维模板来重建出人手。

    基于光流的单视频双手动态三维运动捕捉方法和装置

    公开(公告)号:CN118015167A

    公开(公告)日:2024-05-10

    申请号:CN202410262086.9

    申请日:2024-03-07

    Applicant: 清华大学

    Inventor: 刘烨斌 李梦成

    Abstract: 本申请提出了一种基于光流的单视频双手动态三维运动捕捉方法,涉及三维视觉与重建技术领域,其中,该方法包括:步骤S1:采集单视角人手图片,并使用双手重建算法确定图片对应的双手姿态;步骤S2:根据采集的图片和确定的双手姿态、人手纹理的先验知识,确定人手纹理贴图,并进一步渲染得到渲染后的图片;步骤S3:通过光流模型计算真实拍摄图片和渲染出的图片之间的光流和光流误差,并根据光流误差优化双手姿态;步骤S4:重复步骤S2、S3,不断优化双手姿态,直至光流误差小于预设阈值或达到最大迭代次数,确定最优双手姿态。采用上述方案的本发明实现了在单视角采集的上半身或者全身图片中捕捉完整的双手运动并实时重建完整的人手三维模型。

    手部运动重建方法和装置

    公开(公告)号:CN110443884A

    公开(公告)日:2019-11-12

    申请号:CN201910646553.7

    申请日:2019-07-17

    Applicant: 清华大学

    Abstract: 本发明提出一种手部运动重建方法和装置,其中,方法包括:获取手部深度数据集,其中,手部深度数据集中的每个手部深度数据中包含手部深度图片信息及其对应的手部骨架坐标;控制预设手部模型分别根据手部深度数据集中每个手部深度数据调整姿态,获取姿态调整后的拟合手部模型的姿态参数;根据与每个手部深度数据对应的拟合手部模型的姿态参数高斯分布函数,以便于根据高斯分布函数进行手部运动重建。本发明解决了现有技术中人手的活动较为灵活复杂,与物体交互过程中常常伴随着严重遮挡的技术问题,通过同构单视点的RGB-D数据,可以获得更加精确的三维重建结果,在较简单的硬件条件下可以获得较好的物体与手部交互重建结果。

Patent Agency Ranking