大场景稀疏光场语义驱动智能重建方法、系统与装置

    公开(公告)号:CN115115797B

    公开(公告)日:2022-11-25

    申请号:CN202211025358.0

    申请日:2022-08-25

    Applicant: 清华大学

    Abstract: 本发明公开了大场景稀疏光场语义驱动智能重建方法、系统与装置,该方法包括:获取多视角图像的语义基元;将语义基元的第一网格采样点对应的坐标信息和特征向量输入第一网络模型得到坐标偏移量,并根据坐标偏移量和语义基元的几何属性信息得到语义基元的第二网格;将第二网格采样点对应的坐标信息和特征向量以及观测角度值输入第二网络模型得到第二网格采样点的第一特征信息,以及基于第一特征信息得到语义基元的第二特征信息;根据语义基元的观测角度值和第二特征信息提取的第三特征信息,得到多视角图像的光场重建结果。该方法可以提升光场重建的完整度,同时保证光场重建的精度。

    一种稀疏光场重建方法及装置

    公开(公告)号:CN113129352A

    公开(公告)日:2021-07-16

    申请号:CN202110485198.7

    申请日:2021-04-30

    Applicant: 清华大学

    Abstract: 本发明实施例公开了一种稀疏光场重建方法,包括:根据稀疏光场信息中的二维图像的特征相似性提取目标物体的初始轮廓;建立目标物体与动态三维场景之间的映射关系;映射关系包括至少一个局部映射关系;局部映射关系表征目标物体一个表面与动态三维场景之间的映射关系;根据映射关系计算目标物体每个表面的几何信息与色彩信息;根据目标物体各表面的几何信息与色彩信息建立目标物体的大场景全局表面模型与三维图像。本发明实施例提供的稀疏光场重建方法,通过构建并求解目标物体表面与动态三维场景之间的映射关系,利用稀疏视角的二维图像数据实现了对目标物体的大场景全局表面模型与三维图像的重建,降低了对三维几何标注数据的依赖和存储复杂度,并提高了光场重建精度与效率。

    一种大场景稀疏光场十亿像素级智能重建方法及装置

    公开(公告)号:CN116071484A

    公开(公告)日:2023-05-05

    申请号:CN202310208383.0

    申请日:2023-03-07

    Applicant: 清华大学

    Abstract: 本发明公开了一种大场景稀疏光场十亿像素级智能重建方法及装置,该方法包括:基于多视角三维重建系统得到粗糙三维几何模型;在粗糙三维几何模型上构建形变元隐式表征;对形变元隐式表征进行优化,以得到大场景光场的自由视点渲染的光场重建结果。本发明在光场理解中采用了基于元形变的隐式表征,在稀疏的视角观测下,充分利用十亿像素级感知分辨率,通过元表面的特征映射与隐式光照建模,优化场景的精细几何结构与材质属性,实现十亿像素级超高分辨率的大场景稀疏光场重建与渲染。

    脑启发复杂场景具身智能方法及系统

    公开(公告)号:CN119088218A

    公开(公告)日:2024-12-06

    申请号:CN202411152494.5

    申请日:2024-08-21

    Applicant: 清华大学

    Abstract: 本发明公开了脑启发复杂场景具身智能方法及系统,该方法构建脑启发复杂场景下的决策支持网络模型;其中,决策支持网络模型,包括感知网络、目标网络和推理网络;将机器人获取的视觉信号输入决策支持网络模型,并利用感知网络将视觉信号转换为脉冲信号,以将脉冲信号转换为不同的神经元群体;通过目标网络将机器人导航系统的导航信息编码成目标导向的神经元群体;利用推理网络模拟来自感知网络和目标网络的神经元群体,并通过神经元群体间的符号化交互执行复杂的符号推理,以最终生成行动决策。本发明解决现有技术中计算资源消耗高、决策不透明以及适应性不足的问题,以实现在动态和复杂环境中的高效、可解释和可靠的决策过程。

    大场景弹性语义表征与自监督光场重建方法及装置

    公开(公告)号:CN115423946B

    公开(公告)日:2023-04-07

    申请号:CN202211363939.5

    申请日:2022-11-02

    Applicant: 清华大学

    Abstract: 本公开涉及计算机技术领域,尤其涉及一种大场景弹性语义表征与自监督光场重建方法及装置。其中,该大场景弹性语义表征与自监督光场重建方法,包括:获取目标场景对应的第一深度图集合,其中,第一深度图集合包括至少一个视角对应的第一深度图;将第一深度图集合输入至目标弹性语义重建模型,得到第二深度图集合,其中,第二深度图集合包括至少一个视角对应的第二深度图;对至少一个视角对应的第二深度图进行融合,得到目标场景对应的目标场景点云。采用本公开可以提高光场重建的准确性、完整性和质量。

    基于遮挡信息多尺度感知的三维重建方法及装置

    公开(公告)号:CN111260775B

    公开(公告)日:2022-05-20

    申请号:CN202010076490.9

    申请日:2020-01-23

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于遮挡信息多尺度感知的三维重建方法及装置,其中,方法包括:通过对待重建场景的多尺度推理逐渐精细化重建模型;参考低分辨率重建模型逐渐完善视角遮挡信息;根据每个三维子体素群的视图对对待重建场景进行表面预测,以得到该三维子体素群的多视角表面预测,并融合多视角表面预测得到该三维子体素群的点云预测,直到所有体素群分辨率中最低体素群分辨率小于等于预设分辨率时完成待重建场景的三维重建。该方法不仅有效降低了计算复杂度,而且有效提升重建得到的三维模型的完整度,简单易实现。

    基于遮挡信息多尺度感知的三维重建方法及装置

    公开(公告)号:CN111260775A

    公开(公告)日:2020-06-09

    申请号:CN202010076490.9

    申请日:2020-01-23

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于遮挡信息多尺度感知的三维重建方法及装置,其中,方法包括:通过对待重建场景的多尺度推理逐渐精细化重建模型;参考低分辨率重建模型逐渐完善视角遮挡信息;根据每个三维子体素群的视图对对待重建场景进行表面预测,以得到该三维子体素群的多视角表面预测,并融合多视角表面预测得到该三维子体素群的点云预测,直到所有体素群分辨率中最低体素群分辨率小于等于预设分辨率时完成待重建场景的三维重建。该方法不仅有效降低了计算复杂度,而且有效提升重建得到的三维模型的完整度,简单易实现。

    一种稀疏光场重建方法及装置

    公开(公告)号:CN113129352B

    公开(公告)日:2024-07-26

    申请号:CN202110485198.7

    申请日:2021-04-30

    Applicant: 清华大学

    Abstract: 本发明实施例公开了一种稀疏光场重建方法,包括:根据稀疏光场信息中的二维图像的特征相似性提取目标物体的初始轮廓;建立目标物体与动态三维场景之间的映射关系;映射关系包括至少一个局部映射关系;局部映射关系表征目标物体一个表面与动态三维场景之间的映射关系;根据映射关系计算目标物体每个表面的几何信息与色彩信息;根据目标物体各表面的几何信息与色彩信息建立目标物体的大场景全局表面模型与三维图像。本发明实施例提供的稀疏光场重建方法,通过构建并求解目标物体表面与动态三维场景之间的映射关系,利用稀疏视角的二维图像数据实现了对目标物体的大场景全局表面模型与三维图像的重建,降低了对三维几何标注数据的依赖和存储复杂度,并提高了光场重建精度与效率。

    十亿像素级大场景光场智能重建方法及装置

    公开(公告)号:CN116071484B

    公开(公告)日:2023-06-20

    申请号:CN202310208383.0

    申请日:2023-03-07

    Applicant: 清华大学

    Abstract: 本发明公开了一种大场景稀疏光场十亿像素级智能重建方法及装置,该方法包括:基于多视角三维重建系统得到粗糙三维几何模型;在粗糙三维几何模型上构建形变元隐式表征;对形变元隐式表征进行优化,以得到大场景光场的自由视点渲染的光场重建结果。本发明在光场理解中采用了基于元形变的隐式表征,在稀疏的视角观测下,充分利用十亿像素级感知分辨率,通过元表面的特征映射与隐式光照建模,优化场景的精细几何结构与材质属性,实现十亿像素级超高分辨率的大场景稀疏光场重建与渲染。

Patent Agency Ranking