基于无监督数据的TOF深度数据优化方法及装置

    公开(公告)号:CN111402397A

    公开(公告)日:2020-07-10

    申请号:CN202010128595.4

    申请日:2020-02-28

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于无监督数据的TOF深度数据优化方法及装置,其中,方法包括:获取不含噪声的人体三维模型数据库;确定模拟噪声的自变量;分别在纵向方向和横向方向添加噪声;对原始三维模型和加噪后的三维模型进行渲染,并搭建编码器解码器网络;设计能量函数和监督网络,将网络输出结果输入监督网络,约束监督网络逐卷积层提取的特征图趋近;利用人体三维模型数据库和能量函数对生成式对抗神经网络中的生成器和鉴别器的参数权重进行迭代回归优化,直至权重收敛,将采集的真实场景下人物深度图片作为输入,得到包含几何细节且不含噪声的人体网格模型。该方法使用无监督的三维扫描数据生成式对抗网络,在保留几何细节的同时提升深度数据质量。

    基于神经网络的光场多平面表示重建方法及装置

    公开(公告)号:CN111127536A

    公开(公告)日:2020-05-08

    申请号:CN201911269492.3

    申请日:2019-12-11

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于神经网络的光场多平面表示重建方法及装置,其中,方法包括以下步骤:利用开源代码SceneNet的场景生成光场数据集;根据光场数据集训练MPI重建网络,并用相机阵列对动态场景进行稀疏光场采集,利用MPI重建网络对相机阵列的相机的每个视点重建一个MPI;将重建的MPI的alpha通道和颜色向量在时域上滤波,构成目标视点MPI,并且对需要重建的新视点,选取近邻视点的目标视点MPI进行MPI融合,依照从前向后混合透明度的渲染方法,生成新视点下的重建图像。该方法可以大大降低了系统复杂性,并且可以同时在空间域和角度域实现较好的光场插值效果。

    基于深度学习的单图像人体三维重建方法及装置

    公开(公告)号:CN110599585A

    公开(公告)日:2019-12-20

    申请号:CN201910716534.7

    申请日:2019-08-05

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于深度学习的单图像人体三维重建方法及装置,其中,该方法包括:获取测试图像,通过采集系统对采集对象进行采集得到人体外层模型及对应的内层参数化模型并对其进行预处理得到网络训练数据;构建满足预设条件的图像特征提取网络和三维体转换网络,并在最小化损失函数的条件下,利用网络训练数据对两个网络进行训练;对测试图像进行处理得到测试图像对应的人体内层参数化模型;将测试图像和测试图像对应的人体内层参数化模型输入到训练后的网络中,得到测试图像中人体的三维重建预测结果。该方法基于深度学习实现,一旦网络训练完成,则使用时只需要单张彩色图片作为输入,就可以实现对图像中出现的人体的三维重建。

    多视点相机下的实时三维人体体型与姿态重建方法及装置

    公开(公告)号:CN110599540A

    公开(公告)日:2019-12-20

    申请号:CN201910716814.8

    申请日:2019-08-05

    Applicant: 清华大学

    Abstract: 本发明公开了一种多视点相机下的实时三维人体体型与姿态重建方法及装置,其中,该方法包括:将多个相机架围出捕捉区域,通过相机标定方法标定多个相机的相机内参和相机外参;通过标定后的多个相机在捕捉区域内采集人体图像并处理以使人体图像转码成RGB图像,利用预先训练好的卷积神经网络对RGB图像进行检测并生成每个视角下的人体关节二维坐标信息,并对其进行三角化得到人体三维关节坐标信息;利用人体三维关节坐标信息优化预设人体模型中的姿态参数和形状参数,再通过时域优化稳定优化后的预设人体模型以得到人体三维重建模型。该方法利用深度学习来完成人体姿态的估计,在试验环境下,可以实时对多人的人体模型进行拟合与渲染。

    自由视点图像生成方法和装置

    公开(公告)号:CN110430416A

    公开(公告)日:2019-11-08

    申请号:CN201910647469.7

    申请日:2019-07-17

    Applicant: 清华大学

    Abstract: 本发明提出一种自由视点图像生成方法和装置,其中,方法包括:在多个视点采集包含目标用户运动场景的多帧第一图像帧;识别多帧第一图像帧中每帧第一图像帧的第一人体姿态参数;获取新增视点的第二人体姿态参数;控制预设人体模型拟合第二人体姿态参数,获取在新增视点下预设人体模型的运动图像帧;将运动图像帧输入至预先训练的图像转换模型,获取与新增视点对应的包含目标用户运动场景的第二图像帧。本发明通过获取多个视点下的图像帧,并根据多个视点下的图像帧,得到新增视点下的运动图像帧,然后通过图像转换模型,计算出新增视点对应的包含目标用户运动场景的图像帧,降低了采集图像帧的计算量和复杂性。

    多相机立体匹配方法和装置

    公开(公告)号:CN110428462A

    公开(公告)日:2019-11-08

    申请号:CN201910647474.8

    申请日:2019-07-17

    Applicant: 清华大学

    Abstract: 本发明提出一种多相机立体匹配方法和装置,其中,方法包括:根据预设的阵列结构搭建多相机阵列;控制红外散斑发射器向训练场景投射结构光光斑,通过多相机阵列获取多视点图像;提取多视点图像的图像特征,并根据图像特征训练特征提取器,以便于根据训练好的图像特征提取器进行场景深度信息的获取。本发明可以克服传统的RGB匹配特征稀疏以及特征提取和匹配的高计算复杂度,实现高速、准确的立体匹配并能够通过概率推断的方法进一步提高立体匹配结果。

    光照分离的单视角人体服装几何细节重建方法及装置

    公开(公告)号:CN110310319A

    公开(公告)日:2019-10-08

    申请号:CN201910507871.5

    申请日:2019-06-12

    Applicant: 清华大学

    Abstract: 本发明公开了一种光照分离的单视角人体服装几何细节重建方法及装置,其中,方法包括:利用现有的从图像中获取人物姿态的方法,先对人体模型和衣服模型进行初步物理模拟;再通过光照分离的方法,提取光照和衣服表面的光影信息,从而对衣物的表面细节进行建模,并根据人体的运动姿态动态模拟衣服的褶皱等细节信息。人体模型重建基于单图像人体模板拟合的方法;衣物模拟主要利用物理粒子模拟的框架;而衣服表面细节重建则主要通过光照和表面法向的渲染结果,与分解出的本征光照图像进行比较和求解。该方法通过衣服建模和表面细节求解的框架,可以使得输入图像中衣服的细节能够得到比较好的重建,并可以适用于单RGB采集人体运动的人体和衣物重建。

    基于服装建模与仿真的视频人体三维重建方法及装置

    公开(公告)号:CN110309554A

    公开(公告)日:2019-10-08

    申请号:CN201910507845.2

    申请日:2019-06-12

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于服装建模与仿真的视频人体三维重建方法及装置,其中,方法包括:利用摄像机采集人体运动,通过图像提取人体的姿态和体态信息,并提取出人物不同衣物的分割信息,从而对人体和表面衣物进行建模,并根据人体的运动姿态对于表面衣物进行物理模拟和纹理仿真。人体模型重建方法基于人体模板匹配的方法,根据已有的基于单RGB图像估计人体模型的方法进行人体姿态和体型求解;衣物模拟主要利用粒子模拟方法,通过加入外力和内力约束来进行物理模拟并建模。该方法通过物理模拟方法,可以使得人体和衣物的联合运动能够得到比较好的重建,并适用于单RGB采集人体运动的人体和衣物重建。

    深度相机深度图实时去噪方法和装置

    公开(公告)号:CN110197464A

    公开(公告)日:2019-09-03

    申请号:CN201910441785.9

    申请日:2019-05-24

    Applicant: 清华大学

    Abstract: 本申请提出一种深度相机深度图实时去噪方法和装置,其中,方法包括:获取待去噪的深度图;利用预先训练好的卷积神经网络,对待去噪的深度图进行去噪处理,获取去噪后的深度图。该方法通过利用预先训练好的卷积神经网络,对待去噪的深度图序列中的深度图进行去噪处理,获取去噪后的深度图序列,由此利用训练好的卷积神经网络模型可以实时地得到经过去噪后的深度图序列,去噪效果较好,并且对其他需要利用深度图片序列作为输入的项目产生明显的优化效果。

    一种亚像素边缘检测方法
    120.
    发明授权

    公开(公告)号:CN105678801B

    公开(公告)日:2018-11-09

    申请号:CN201610166169.3

    申请日:2016-03-22

    Applicant: 清华大学

    Abstract: 本发明公开了一种亚像素边缘检测方法,包括以下步骤:根据亚像素的中心位置和高斯滤波的滤波系数建立亚像素边缘图像的高斯滤波模糊模型;根据所述高斯滤波模糊模型计算所述亚像素边缘图像梯度的幅值;使用Canny算法进行边缘检测;根据所述亚像素边缘图像梯度的幅值计算所述亚像素边缘图像中心位置的坐标;以及根据所述亚像素边缘图像中心位置的坐标计算所述亚像素边缘图像的偏移量和偏移位移。本发明具有如下优点:采用高斯滤波模糊模型比单纯采用阶跃模型更加符合实际情况;高斯滤波模糊模型推导由于得到了闭式解,因此得比非线性优化等方法更快的计算速度。

Patent Agency Ranking