一种动态光场重建方法、装置及设备

    公开(公告)号:CN113192185A

    公开(公告)日:2021-07-30

    申请号:CN202110540712.2

    申请日:2021-05-18

    申请人: 清华大学

    摘要: 本发明公开了一种动态光场重建方法、装置及设备。方法包括:对多视角视频分别进行帧间的运动估计确定各视角的动态区域获得动态区域集;基于动态区域集对所述多视角视频的每一帧进行深度估计获得多视角视频中主视角视频每一帧的深度图;基于动态区域集对多视角视频的每一帧进行RGB压缩编码获得主视角视频每一帧的第一RGB信息;根据深度图和第一RGB信息确定空间体素每一帧的第二RGB信息和距离场SDF信息;基于第二RGB信息和SDF信息构建三维动态模型。利用该方法,能够根据第一RGB信息和深度图直接进行三维构建,无需对第一RGB信息和深度图进行解压,可以将压缩和三维构建一体化设计,减小三维构建过程中的数据通量,有效提高光场重建的效率。

    一种动态大场景自适应智能处理方法

    公开(公告)号:CN112446379B

    公开(公告)日:2021-04-20

    申请号:CN202110134370.4

    申请日:2021-02-01

    申请人: 清华大学

    摘要: 本发明实施例公开了一种动态大场景自适应智能处理方法。该方法包括:获取动态大场景下的原始图像,并将原始图像按预设比例缩小,获得待处理图像;将待处理图像输入预设的目标区域寻找网络模型,根据目标区域寻找网络模型的生成结果确定至少一个目标区域;将各目标区域输入目标识别检测器中进行位置检测,确定各目标区域中的目标位置框;按照各目标区域的尺度信息和预设比例,将相应的目标位置框关联至原始图像中。本发明实施例的技术方案,解决了难以对动态大场景下的高分辨率图像进行目标识别,识别速度慢且识别结果不够准确的问题,提升了对高分辨率图像视觉处理的处理效率,并提高了对高分辨率图像视觉处理的准确度。

    一种自适应光场成像方法、装置及设备

    公开(公告)号:CN112367474B

    公开(公告)日:2021-04-20

    申请号:CN202110039406.0

    申请日:2021-01-13

    申请人: 清华大学

    IPC分类号: H04N5/232

    摘要: 本发明实施例公开了自适应光场成像方法、装置及设备。通过像感器阵列中的全局图像采集设备采集目标场景内的全局视频数据,并根据全局视频数据确定目标场景内每个目标区域对应的信息熵;根据信息熵和强化学习算法调节局部图像采集设备的拍摄角度,以及确定目标场景内每个事件对应的发生区域的面积,并根据面积调节对应的局部图像采集设备的焦距;控制调节后的像感器阵列拍摄目标场景,并对局部图像采集设备拍摄的第一视频信息集合和全局图像采集设备拍摄的第二视频信息进行信息融合,生成目标场景的光场成像信息。本发明实施例提供的技术方案,能够同时获取宽视场和高分辨率的实时光场成像信息,有利于提高获取的光场成像信息的准确性。

    一种自适应光场成像方法、装置及设备

    公开(公告)号:CN112367474A

    公开(公告)日:2021-02-12

    申请号:CN202110039406.0

    申请日:2021-01-13

    申请人: 清华大学

    IPC分类号: H04N5/232

    摘要: 本发明实施例公开了自适应光场成像方法、装置及设备。通过像感器阵列中的全局图像采集设备采集目标场景内的全局视频数据,并根据全局视频数据确定目标场景内每个目标区域对应的信息熵;根据信息熵和强化学习算法调节局部图像采集设备的拍摄角度,以及确定目标场景内每个事件对应的发生区域的面积,并根据面积调节对应的局部图像采集设备的焦距;控制调节后的像感器阵列拍摄目标场景,并对局部图像采集设备拍摄的第一视频信息集合和全局图像采集设备拍摄的第二视频信息进行信息融合,生成目标场景的光场成像信息。本发明实施例提供的技术方案,能够同时获取宽视场和高分辨率的实时光场成像信息,有利于提高获取的光场成像信息的准确性。

    基于激光散斑和模态融合的材质识别方法及装置

    公开(公告)号:CN110942060B

    公开(公告)日:2023-05-23

    申请号:CN201911005215.1

    申请日:2019-10-22

    申请人: 清华大学

    摘要: 本发明公开了一种基于激光散斑和模态融合的材质识别方法及装置,其中,方法包括以下步骤:利用投影激光散斑结构的结构光相机对被测物体进行数据采集,得到彩色模态图像、深度模态图像和红外模态图像;对彩色模态图像、深度模态图像和红外模态图像进行预处理;将预处理后的彩色模态图像、深度模态图像和红外模态图像输入预设的深度神经网络,并在所采集的数据集上进行训练,从相应的散斑结构和彩色、深度模态耦合关系学习到材料级别的特征,生成用于材料分类的物体材质分类模型,以在测试阶段,通过物体材质分类模型生成材质预测结果。该方法可以利用激光散斑和材质的相互作用以及其与可见光视觉的模态融合实现材质识别,简单易实现。

    一种大场景的三维重建方法、装置及设备

    公开(公告)号:CN113920256A

    公开(公告)日:2022-01-11

    申请号:CN202111529101.4

    申请日:2021-12-15

    申请人: 清华大学

    摘要: 本发明公开了一种大场景的三维重建方法、装置及设备。根据采集的RGBD关键帧构建多个子图,并基于所述多个子图构建目标场景对应的初始三维模型;对所述初始三维模型进行语义分割及实例分割,获得所述初始三维模型包含的语义标签和实例标签;根据所述语义标签检测所述初始三维模型中包含的房间,确定为新的房间;根据所述新的房间包含的实例标签对历史房间进行回环检测,获得与所述新的房间属于同一房间的历史房间;对所述多个子图的位姿进行优化,并基于优化后的多个子图构建目标三维模型。本发明实施例提供的大场景的三维重建方法,可以实现大尺度场景的三维重建,提高三维重建的精度。

    一种稀疏光场重建方法及装置

    公开(公告)号:CN113129352A

    公开(公告)日:2021-07-16

    申请号:CN202110485198.7

    申请日:2021-04-30

    申请人: 清华大学

    IPC分类号: G06T7/557

    摘要: 本发明实施例公开了一种稀疏光场重建方法,包括:根据稀疏光场信息中的二维图像的特征相似性提取目标物体的初始轮廓;建立目标物体与动态三维场景之间的映射关系;映射关系包括至少一个局部映射关系;局部映射关系表征目标物体一个表面与动态三维场景之间的映射关系;根据映射关系计算目标物体每个表面的几何信息与色彩信息;根据目标物体各表面的几何信息与色彩信息建立目标物体的大场景全局表面模型与三维图像。本发明实施例提供的稀疏光场重建方法,通过构建并求解目标物体表面与动态三维场景之间的映射关系,利用稀疏视角的二维图像数据实现了对目标物体的大场景全局表面模型与三维图像的重建,降低了对三维几何标注数据的依赖和存储复杂度,并提高了光场重建精度与效率。

    一种场景语义分割方法、装置、电子设备

    公开(公告)号:CN112446385B

    公开(公告)日:2021-04-30

    申请号:CN202110125033.9

    申请日:2021-01-29

    申请人: 清华大学

    摘要: 本发明公开了一种场景语义分割方法、装置、电子设备,该方法包括:如果场景原始点云对应体素块的粒度大于粒度阈值,则根据所述体素块特征和原始点云特征,得到下一分割点云;如果所述有效体素块细分后下一体素块粒度小于等于所述粒度阈值,则根据所述下一分割点云添加语义标签作为场景语义分割结果;如果所述有效体素块细分后下一体素块粒度大于所述粒度阈值,则根据所述下一体素块特征和下一分割点云特征,得到新下一分割点云;直至所述有效体素块细分后的新下一体素块的粒度小于等于所述粒度阈值,则将所述新下一分割点云添加语义标签作为场景语义分割结果。本发明实施例在场景不同粒度下有足够上下文信息进行整合,减少计算复杂度。

    一种自适应光场成像校准方法、设备及存储介质

    公开(公告)号:CN112381894A

    公开(公告)日:2021-02-19

    申请号:CN202110052768.3

    申请日:2021-01-15

    申请人: 清华大学

    IPC分类号: G06T7/80 H04N5/247

    摘要: 本发明公开了一种自适应光场成像校准方法、设备及存储介质。该方法包括:获取每个模块内的全局相机拍摄的全局视频数据,其中,所述模块包括:一个全局相机和至少一个局部相机;根据所述全局视频数据确定空间信息分布图;根据所述空间信息分布图确定模块内部的每个局部相机的参数信息,计算全局相机和局部相机的图像之间的映射网格,将局部相机校准到对应的全局相机上,通过本发明的技术方案,以实现新功能的实现可通过添加,修改,设计新的模块来实现。且所有模块内部采用分级的设计,在光场校准中,可先对每个模块内部进行校准,然后再对所有模块进行整体校准。通过两级校准的方式,降低了光场校准的复杂度,并提高鲁棒性和并行性。