基于三阶球面谐波的动态场景高精度实时三维重建方法及系统

    公开(公告)号:CN108776990A

    公开(公告)日:2018-11-09

    申请号:CN201810315991.0

    申请日:2018-04-10

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于三阶球面谐波的动态场景高精度实时三维重建方法及系统,其中,方法包括:通过RGBD相机对动态场景进行拍摄,以得到深度和彩色图像序列;将单张深度图像变换为三维点云,获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对;根据匹配点联合能量函数,对能量函数进行求解,以根据求解结果将重建模型的几何和表面反射率分别与三维点云和彩色图像序列进行对齐;通过深度图自适应性地更新和补全对其后的三维模型,并通过彩色图像自适应地补全和更新场景表面的反射率信息。该方法求解准确鲁棒,简单易行,运行速度为实时,拥有广阔的应用前景,可以在PC机或工作站等硬件系统上快速实现。

    基于参数化人体模板和惯性测量的三维人体重建方法及系统

    公开(公告)号:CN108629831A

    公开(公告)日:2018-10-09

    申请号:CN201810317074.6

    申请日:2018-04-10

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于参数化人体模板和惯性测量的三维人体重建方法及系统,其中,方法包括:对人体进行深度图拍摄以得到单张深度图像;读取人体四肢上绑定的惯性测量单元的转向测量读数;获取三维点云和重建模型顶点及参数话人体模型顶点之间的匹配点对;根据匹配点对和转向测量读数得到能量函数和人体姿态参数;对能量函数进行求解,重建模型和参数化人体模板与三维点云进行对齐,以得到对其后的模型;优化转换关系;通过深度图更新和补全对其后的模型,并进一步优化参数化人体模板的人体形态参数。该方法求解准确鲁棒,简单易行,运行速度为实时,拥有广阔的应用前景,可以在PC机或工作站等硬件系统上快速实现。

    基于剪切二维极线平面图的光场角度超分辨率方法及装置

    公开(公告)号:CN108615221A

    公开(公告)日:2018-10-02

    申请号:CN201810315188.7

    申请日:2018-04-10

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于剪切二维极线平面图的光场角度超分辨率方法及装置,其中,方法包括:根据低角度分辨率光场提取多个二维极线平面图;获取多个二维极线平面图的每个二维极线平面图的空间低频信息;得到多个剪切操作后的低频极线平面图;达到目标角度分辨率;通过卷积神经网络对上采样后的低频极线平面图重建出角度信息;得到角度超分辨率后的高空间角度分辨率的极线平面图;得到多个在不同视差下的高角度空间分辨率极线平面图;得到高空间角度分辨率极线平面图;输出高角度分辨率光场。该方法对一定稀疏角度分辨率的大视差光场均能达到优良的角度超分辨率效果,具有很强的鲁棒性,且对极线平面图所对应的视差图中的噪声也具有很强的鲁棒性。

    一种高光谱十亿像素视频生成方法

    公开(公告)号:CN108429889A

    公开(公告)日:2018-08-21

    申请号:CN201810183539.3

    申请日:2018-03-06

    CPC classification number: H04N5/247 G06T7/90 H04N5/262 H04N5/2628

    Abstract: 一种高光谱十亿像素视频生成方法,包括:图像采集;图像数据预处理:将局部视角相机中的每幅图像的尺寸依据fr/fl降低,fr为局部视角相机的聚焦长度,fl为参考相机的聚焦长度;全局变换迭代:找到每一个局部视角图像和其在参照图像中对应的参照图像块之间具有鲁棒性的特征一致性;基于网孔的变换迭代:基于网孔变换的单应方法改善特征一致性;颜色校准及重叠处理:将任一参照块的颜色风格赋予对应的局部视角图像,将参考的颜色风格转移至局部视角图像中,转移方法依照仿射颜色映射模型;在参照块上应用Graphcut算法以替换参考块上重叠的局部视角图像。利用本发明的方法,可以高效准确地获取高品质十亿像素视频。

    十亿像素视频的实现方法
    65.
    发明授权

    公开(公告)号:CN105405158B

    公开(公告)日:2018-08-03

    申请号:CN201510727252.9

    申请日:2015-10-30

    Applicant: 清华大学

    Abstract: 本发明提出种十亿像素视频的实现方法,包括:采集十亿像素背景图像,其中,相邻的行和/或列对应的背景图像中存在重叠区域,重叠区域的面积与对应的背景图像的总面积的比例大于预设值;采集十亿像素背景图像对应场景内的动态视频,并以第存储方式单独存储;根据重叠区域的特征点对多个背景图像进行拼接以得到完整的十亿像素背景图像;对动态视频进行滑动窗口搜索;采用直方图匹配方式对动态视频对应的前景与十亿像素背景图像的背景进行亮度匹配,以将动态视频嵌入十亿像素背景图像中,得到十亿像素视频,其中,以第二存储方式单独存储十亿像素背景图像。本发明易于实现,无需复杂的采集装置,具有有效的数据存储方式及真实感强的交互方式。

    声音驱动辅助侧脸图像的人脸重建方法及装置

    公开(公告)号:CN108230438A

    公开(公告)日:2018-06-29

    申请号:CN201711461073.0

    申请日:2017-12-28

    Applicant: 清华大学

    Abstract: 本发明公开了一种声音驱动辅助侧脸图像的人脸重建方法及装置,其中,方法包括:提取训练数据集;获取语音特征和表情参数的对应关系;提取每一帧对应的语音波形窗口的语音特征,并将特征信息存储到输入文件中;得到每一帧语音信息对应的人脸表情参数;获取侧脸的特征点信息,以通过深度学习方法获取侧脸图像与脸部特征点的对应关系;用已有的人脸模型拟合侧脸上的特征点位置,求解人脸的表情参数和形状参数,并将通过声音信息求解得到的表情参数引入进行加权;将拟合后的人脸模型进行纹理贴图和匹配,以获得最终的人脸重建结果。该方法可以使得较难通过侧脸图像获得的嘴部运动信息得到较好的跟踪和重建,有效提高重建的可靠性。

    基于多深度摄像机的动态场景实时三维重建方法及装置

    公开(公告)号:CN108171791A

    公开(公告)日:2018-06-15

    申请号:CN201711443834.X

    申请日:2017-12-27

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于多深度摄像机的动态场景实时三维重建方法及装置,其中,方法包括:对彩色图像进行背景分割,提取并匹配图像SIFT特征点,并且对深度图像做双边滤波预处理;通过多视角非刚性对齐逐帧拼接深度图像,以得到矫正后的深度图像;通过非刚性变形将参考帧中的静态模型与矫正后的深度图像观测对齐;在当前帧融合几何模型,以重建拓扑变化以及处理跟踪丢失的情况。该方法可以有效保证实时性,且提高鲁棒性,提高运行速度,简单易实现。

    跨尺度分辨率的光场图像超分辨率及深度估计方法及装置

    公开(公告)号:CN108053368A

    公开(公告)日:2018-05-18

    申请号:CN201711362812.0

    申请日:2017-12-18

    Applicant: 清华大学

    Abstract: 本发明公开了一种跨尺度分辨率的光场图像超分辨率及深度估计方法及装置,其中,方法包括:通过单张图像超分辨率SISR方法进行上采样;将位于中间视角的高分辨率图像下采样后,利用SISR方法进行上采样,并获取误差图;获取视差图并利用光场固有属性对视差图进行全局优化,同时进行补洞操作,使得视差图估计无法估计到的区域进行重新估计;利用全局视差图对误差图进行传递,使得图像恢复高分辨率信息,以实现光场的超分辨率重建;根据超分辨率后的光场图像进行场景的深度估计,获取深度估计结果。该方法可以利用全局视差图对误差图进行传递,使得图像恢复高分辨率信息,以通过高分辨光场获取场景深度信息,并且提高鲁棒性,计算速度快。

    基于视频中运动跟踪的人物动画绘制方法及系统

    公开(公告)号:CN108022278A

    公开(公告)日:2018-05-11

    申请号:CN201711487839.2

    申请日:2017-12-29

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于视频中运动跟踪的人物动画绘制方法及系统,其中,方法包括:获取包含人物运动的视频,以进行标准姿态下的3D扫描得到3D扫描人物模型;根据预设的标准模板对3D扫描人物模型进行匹配,以获取人体形状和人体姿态;在每读入一帧时,根据人体形状和人体姿态对目标函数进行优化,以将标准模板和视频中的人物进行匹配,获取人体姿态参数,并优化形状参数;对不同帧之间的人物运动中加入卡尔曼滤波,使得通过匹配的对应点将标准模板转换回3D扫描的人物模型,获取人体骨架以实现人物动画绘制。该方法可以有效提高动画制作的准确性和可靠性,并拥有广阔的应用前景,简单易实现。

    基于混合相机阵列的光场视频成像系统及视频处理方法

    公开(公告)号:CN107959805A

    公开(公告)日:2018-04-24

    申请号:CN201711262173.0

    申请日:2017-12-04

    Abstract: 本发明公开了基于混合相机阵列的光场视频成像系统及视频处理方法,包括控制云台、图像处理单元、存储单元和混合相机阵列;混合相机阵列包括全局相机、全局光场相机和多个局部相机,同步地采集同一场景的全局低分辨参考视频、全局光场视频和多个局部高清视频;图像处理单元对每一组同时刻拍摄的参考图像、全局光场图像和多个高清图像进行以下处理:将各局部图像与参考图像进行块匹配,基于匹配结果将局部图像变换到参考图像的对应块上,得到全局高分辨率图像;再基于全局高分辨率图像,对全局光场图像进行超分辨,以得到全局高分辨率光场图像;将所有帧全局高分辨率光场图像合成为全局高分辨率光场视频。

Patent Agency Ranking