基于标签传播算法的多视角人体姿态重建方法

    公开(公告)号:CN111583386B

    公开(公告)日:2022-07-05

    申请号:CN202010313008.9

    申请日:2020-04-20

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于标签传播算法的多视角人体姿态重建方法,包括以下步骤:搭建多相机捕捉系统,对多相机捕捉系统中多个工业相机的内参和外参进行标定;利用多相机捕捉系统采集数字信息,将数字信息转码为RGB输入图像;利用预先训练完成的卷积神经网络对输入图像进行姿态估计,得到每个视角下的人体关节候选节点;根据每个视角下的人体关节候选节点求得关节亲和度、极线距离和重投影误差,通过关节亲和度、极线距离和重投影误差构造概率图;利用COPRA社区发现算法对概率图进行求解,得到每个节点的社区隶属关系,利用每个节点的社区隶属关系重建人体的三维骨架姿态。该方法无需依赖可穿戴传感器,操作过程简单且计算量需求小。

    多视点相机下的实时三维人体体型与姿态重建方法及装置

    公开(公告)号:CN110599540B

    公开(公告)日:2022-06-17

    申请号:CN201910716814.8

    申请日:2019-08-05

    Applicant: 清华大学

    Abstract: 本发明公开了一种多视点相机下的实时三维人体体型与姿态重建方法及装置,其中,该方法包括:将多个相机架围出捕捉区域,通过相机标定方法标定多个相机的相机内参和相机外参;通过标定后的多个相机在捕捉区域内采集人体图像并处理以使人体图像转码成RGB图像,利用预先训练好的卷积神经网络对RGB图像进行检测并生成每个视角下的人体关节二维坐标信息,并对其进行三角化得到人体三维关节坐标信息;利用人体三维关节坐标信息优化预设人体模型中的姿态参数和形状参数,再通过时域优化稳定优化后的预设人体模型以得到人体三维重建模型。该方法利用深度学习来完成人体姿态的估计,在试验环境下,可以实时对多人的人体模型进行拟合与渲染。

    基于隐式函数和人体模板的单图像人体三维重建方法

    公开(公告)号:CN111340944B

    公开(公告)日:2022-05-17

    申请号:CN202010120114.5

    申请日:2020-02-26

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于隐式函数和人体模板的单图像人体三维重建方法,该方法包括:预处理真实人体几何模型,生成训练数据;构建二维图像特征提取网络、三维体特征提取网络和隐式函数取值推断网络并进行训练;对测试图像预处理获取对应的人体参数化模型实例;将测试图像和对应的人体参数化模型实例分别输入二维图像特征和三维体特征提取网络得到二维图像特征和三维体特征,对于空间中特定范围内的均匀格点采样其对应的图像特征和体特征,输入到隐式函数取值推断网络中,获得该格点落在模型内部的概率;求出格点落在模型内部的概率为0.5的等值面,得到重建后的三维几何模型,该方法只需单张彩色图片就可以实现对图像中出现的人体的三维重建。

    车辆去光照三维重建方法、装置、电子设备和存储介质

    公开(公告)号:CN113538664A

    公开(公告)日:2021-10-22

    申请号:CN202110796234.1

    申请日:2021-07-14

    Applicant: 清华大学

    Abstract: 本申请提出一种车辆去光照三维重建方法和装置。其中方法包括:获取带纹理车辆三维模型,对车辆三维模型在不同视角和不同光照条件下进行渲染,得到原始数据;其中,原始数据包括原始图片和原始图片对应的相机内外参数;搭建生成式对抗神经网络,并根据原始数据对生成式对抗神经网络进行训练;基于目标相机参数的彩色相机采集道路上车辆的RGB图片,并将采集到的RGB图片作为经过训练的生成式对抗神经网络的输入部分,从多角度渲染获取重建场景的密度分布,选取密度值满足预设条件的点作为重建点云;去除点云噪点后采用泊松重建算法得到车辆的表面网格模型,并对表面网格模型进行简化,获得包含去光照彩色纹理和材质信息的车辆三维模型。

    人体场景图像本征分解与重光照方法和装置

    公开(公告)号:CN113240622A

    公开(公告)日:2021-08-10

    申请号:CN202110268797.3

    申请日:2021-03-12

    Applicant: 清华大学

    Abstract: 本发明提出一种人体场景图像本征分解与重光照方法和装置,其中,方法包括:使用Clo3d制作人体模型,使用blender进行光线追踪进行渲染,得到训练数据集;使用单张图像预训练法线预测网络;将原始图像与预测得到的法线图作为图像本征分解网络的输入,预测得到反射率图、阴影图以及球谐光照参数;使用新的球谐光照参数对原图像进行重光照。最终将单张图片分解为反射率图与阴影图,可以实现图片重光照、3D模型合成、模型表面纹理重构等应用。在三维重建领域可以去除输入图片的阴影,提升三维重建模型的表面纹理质量。

    多视角动物三维几何与纹理自动化重建方法和装置

    公开(公告)号:CN113160381A

    公开(公告)日:2021-07-23

    申请号:CN202110309277.2

    申请日:2021-03-23

    Applicant: 清华大学

    Abstract: 本申请提出一种多视角动物三维几何与纹理自动化重建方法和装置,涉及计算机视觉技术领域,其中,方法包括:获取单个动物的多视角图像和初始表面模型;对多视角图像进行处理,获取分割图和关键点;根据关键点和分割图对所述初始表面模型进行交替姿态拟合和几何优化,获取表面几何模型;对表面几何模型进行纹理采样,获取纹理图。由此,提高多视角动物三维几何与纹理自动化重建效率。

    基于机械手参数重建对象三维模型的方法和装置

    公开(公告)号:CN113012291A

    公开(公告)日:2021-06-22

    申请号:CN202110354170.X

    申请日:2021-04-01

    Abstract: 本申请提出一种基于机械手参数重建对象三维模型的方法和装置,涉及三维重建和生成技术领域,其中,方法包括:通过机械手姿态参数,估计对应的机械手上接触点标签;通过机械手姿态参数和估计出的接触点标签,估计对应目标物体的物理几何参数;最后通过机械手姿态参数、接触点标签和目标物体的物理几何参数,估计出目标物体的旋转姿态参数;最后获取目标物体的平移姿态参数,根据目标物体的物理几何参数、旋转姿态参数和平移姿态参数,计算目标物体模型。由此,在机械手抓取目标物体的过程中,通过机械手的姿态参数,重建出可能的且合理的目标对象三维模型,解决通常机械手抓取物体过程中,依靠纯视觉方法进行三维重建会导致的鲁棒性低等问题。

    基于门控成像的双目深度估计方法、装置及计算机设备

    公开(公告)号:CN112967332A

    公开(公告)日:2021-06-15

    申请号:CN202110280921.8

    申请日:2021-03-16

    Abstract: 本申请提出一种基于门控成像的双目深度估计方法、装置、计算机设备和存储介质。其中,方法应用于双目门控成像相机系统,该系统包括第一门控相机和第二门控相机,方法包括:获取第一门控相机和第二门控相机下曝光的双目图像对;分别对第一门控相机和第二门控相机各自采集的门控图像组进行深度估计,获取两个视点分别对应的初始深度信息;对每一对不同门控时刻的近红外图像进行双目深度估计,获得每个门控曝光对应的双目立体匹配深度结果;以及根据两个视点分别对应的初始深度信息和双目立体匹配深度结果,获得当前场景下的双目深度信息。本申请利用双目门控相机的成像特性,充分融合门控图像信息和双目立体信息,完成准确精细的场景深度估计。

    光照分离的单视角人体服装几何细节重建方法及装置

    公开(公告)号:CN110310319B

    公开(公告)日:2021-02-12

    申请号:CN201910507871.5

    申请日:2019-06-12

    Applicant: 清华大学

    Abstract: 本发明公开了一种光照分离的单视角人体服装几何细节重建方法及装置,其中,方法包括:利用现有的从图像中获取人物姿态的方法,先对人体模型和衣服模型进行初步物理模拟;再通过光照分离的方法,提取光照和衣服表面的光影信息,从而对衣物的表面细节进行建模,并根据人体的运动姿态动态模拟衣服的褶皱等细节信息。人体模型重建基于单图像人体模板拟合的方法;衣物模拟主要利用物理粒子模拟的框架;而衣服表面细节重建则主要通过光照和表面法向的渲染结果,与分解出的本征光照图像进行比较和求解。该方法通过衣服建模和表面细节求解的框架,可以使得输入图像中衣服的细节能够得到比较好的重建,并可以适用于单RGB采集人体运动的人体和衣物重建。

    自由视点图像生成方法和装置

    公开(公告)号:CN110430416B

    公开(公告)日:2020-12-08

    申请号:CN201910647469.7

    申请日:2019-07-17

    Applicant: 清华大学

    Abstract: 本发明提出一种自由视点图像生成方法和装置,其中,方法包括:在多个视点采集包含目标用户运动场景的多帧第一图像帧;识别多帧第一图像帧中每帧第一图像帧的第一人体姿态参数;获取新增视点的第二人体姿态参数;控制预设人体模型拟合第二人体姿态参数,获取在新增视点下预设人体模型的运动图像帧;将运动图像帧输入至预先训练的图像转换模型,获取与新增视点对应的包含目标用户运动场景的第二图像帧。本发明通过获取多个视点下的图像帧,并根据多个视点下的图像帧,得到新增视点下的运动图像帧,然后通过图像转换模型,计算出新增视点对应的包含目标用户运动场景的图像帧,降低了采集图像帧的计算量和复杂性。

Patent Agency Ranking