-
公开(公告)号:CN110197156B
公开(公告)日:2021-08-17
申请号:CN201910464503.7
申请日:2019-05-30
Applicant: 清华大学
Abstract: 本发明公开了一种基于深度学习的单图像的人手动作与形状重建方法及装置,其中,该方法包括:通过相机采集包含人手的单视角RGB图片;利用区域检测深度学习算法对单视角RGB图片中的人手区域进行标记,并对单视角RGB图片进行切割提取人手区域作为子图片,对子图片进行归一化和翻转处理;将处理后的子图片输入预先训练好的人手检测神经网络,得到人手的姿态和形状参数;利用参数化人手模型和人手的姿态和形状参数重建出单视角RGB图片中的人手。该方法基于单视角的人手RGB图片,利用深度学习算法检测出人手的姿态参数和形状参数,并使用预先定义的人手三维模板来重建出人手。
-
公开(公告)号:CN110443884B
公开(公告)日:2021-07-30
申请号:CN201910646553.7
申请日:2019-07-17
Applicant: 清华大学
Abstract: 本发明提出一种手部运动重建方法和装置,其中,方法包括:获取手部深度数据集,其中,手部深度数据集中的每个手部深度数据中包含手部深度图片信息及其对应的手部骨架坐标;控制预设手部模型分别根据手部深度数据集中每个手部深度数据调整姿态,获取姿态调整后的拟合手部模型的姿态参数;根据与每个手部深度数据对应的拟合手部模型的姿态参数高斯分布函数,以便于根据高斯分布函数进行手部运动重建。本发明解决了现有技术中人手的活动较为灵活复杂,与物体交互过程中常常伴随着严重遮挡的技术问题,通过同构单视点的RGB‑D数据,可以获得更加精确的三维重建结果,在较简单的硬件条件下可以获得较好的物体与手部交互重建结果。
-
公开(公告)号:CN110197156A
公开(公告)日:2019-09-03
申请号:CN201910464503.7
申请日:2019-05-30
Applicant: 清华大学
Abstract: 本发明公开了一种基于深度学习的单图像的人手动作与形状重建方法及装置,其中,该方法包括:通过相机采集包含人手的单视角RGB图片;利用区域检测深度学习算法对单视角RGB图片中的人手区域进行标记,并对单视角RGB图片进行切割提取人手区域作为子图片,对子图片进行归一化和翻转处理;将处理后的子图片输入预先训练好的人手检测神经网络,得到人手的姿态和形状参数;利用参数化人手模型和人手的姿态和形状参数重建出单视角RGB图片中的人手。该方法基于单视角的人手RGB图片,利用深度学习算法检测出人手的姿态参数和形状参数,并使用预先定义的人手三维模板来重建出人手。
-
公开(公告)号:CN118015167A
公开(公告)日:2024-05-10
申请号:CN202410262086.9
申请日:2024-03-07
Applicant: 清华大学
Abstract: 本申请提出了一种基于光流的单视频双手动态三维运动捕捉方法,涉及三维视觉与重建技术领域,其中,该方法包括:步骤S1:采集单视角人手图片,并使用双手重建算法确定图片对应的双手姿态;步骤S2:根据采集的图片和确定的双手姿态、人手纹理的先验知识,确定人手纹理贴图,并进一步渲染得到渲染后的图片;步骤S3:通过光流模型计算真实拍摄图片和渲染出的图片之间的光流和光流误差,并根据光流误差优化双手姿态;步骤S4:重复步骤S2、S3,不断优化双手姿态,直至光流误差小于预设阈值或达到最大迭代次数,确定最优双手姿态。采用上述方案的本发明实现了在单视角采集的上半身或者全身图片中捕捉完整的双手运动并实时重建完整的人手三维模型。
-
公开(公告)号:CN110443884A
公开(公告)日:2019-11-12
申请号:CN201910646553.7
申请日:2019-07-17
Applicant: 清华大学
Abstract: 本发明提出一种手部运动重建方法和装置,其中,方法包括:获取手部深度数据集,其中,手部深度数据集中的每个手部深度数据中包含手部深度图片信息及其对应的手部骨架坐标;控制预设手部模型分别根据手部深度数据集中每个手部深度数据调整姿态,获取姿态调整后的拟合手部模型的姿态参数;根据与每个手部深度数据对应的拟合手部模型的姿态参数高斯分布函数,以便于根据高斯分布函数进行手部运动重建。本发明解决了现有技术中人手的活动较为灵活复杂,与物体交互过程中常常伴随着严重遮挡的技术问题,通过同构单视点的RGB-D数据,可以获得更加精确的三维重建结果,在较简单的硬件条件下可以获得较好的物体与手部交互重建结果。
-
公开(公告)号:CN115272608A
公开(公告)日:2022-11-01
申请号:CN202210821889.4
申请日:2022-07-12
Applicant: 聚好看科技股份有限公司 , 清华大学 , 海信视像科技股份有限公司
Abstract: 本申请涉及三维重建技术领域,提供一种人手重建方法及设备,将单视角或多视角的人手RGB图像输入人手重建网络,获得带有纹理的人手三维模型。该人手重建网络包括编码器和解码器,编码器从每张人手RGB图像中提取不同尺度的特征图和人手特征向量,解码器对各人手特征向量进行若干次图卷积和上采样操作生成人手几何模型;由于不同尺度的特征图包含的人手信息的丰富度不同,图卷积操作时,将每张人手RGB图像对应的不同尺度的特征图中提取的人手信息与相应的人手特征向量进行融合,使得上采样后的目标人手几何顶点集合包含更多的人手全局信息和细节信息,从而提高了人手三维模型的准确性和真实性。
-
公开(公告)号:CN111476899A
公开(公告)日:2020-07-31
申请号:CN202010211923.7
申请日:2020-03-24
Applicant: 清华大学
Abstract: 本发明公开了一种基于单视点RGB相机的人手稠密纹理坐标三维重建方法,包括以下步骤:利用单个彩色(RGB)相机获取人手的照片,并实时处理识别人手区域,通过深度学习算法获得人手的姿态和形状,并通过稠密纹理坐标的方式进行表示,从而得到人手表面的三维模型。该方法于纹理坐标贴图的三维点表达方法,能够较好的符合神经网络的特性。
-
-
-
-
-
-