十亿像素级大场景光场智能重建方法及装置

    公开(公告)号:CN116071484B

    公开(公告)日:2023-06-20

    申请号:CN202310208383.0

    申请日:2023-03-07

    Applicant: 清华大学

    Abstract: 本发明公开了一种大场景稀疏光场十亿像素级智能重建方法及装置,该方法包括:基于多视角三维重建系统得到粗糙三维几何模型;在粗糙三维几何模型上构建形变元隐式表征;对形变元隐式表征进行优化,以得到大场景光场的自由视点渲染的光场重建结果。本发明在光场理解中采用了基于元形变的隐式表征,在稀疏的视角观测下,充分利用十亿像素级感知分辨率,通过元表面的特征映射与隐式光照建模,优化场景的精细几何结构与材质属性,实现十亿像素级超高分辨率的大场景稀疏光场重建与渲染。

    一种基于自适应智能匹配的宽视场高分辨多对象检测方法

    公开(公告)号:CN116229515A

    公开(公告)日:2023-06-06

    申请号:CN202310204886.0

    申请日:2023-03-03

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于自适应智能匹配的宽视场高分辨多对象检测方法,该方法包括:获取包含行人的原始图像并构建目标检测网络模型;将原始图像输入至骨干网络进行特征提取得到深层语义特征;利用预设的增强方法对深层语义特征进行敏感度增强得到目标边界的特征增强结果;将特征增强结果分别输入至多个检测头,以基于表征的行人边界框进行关键点和回归集合的预测得到关键点预测结果和回归集合预测结果;其中,表征的行人边界框,包括利用行人边界框的左边界和上边界对行人左上角关键点进行边界定位,以及右边界和下边界对行人右下角关键点进边界定位。本发明可有效提升十亿像素宽视场高分辨图像中行人自动检测任务的精度。

    大场景弹性语义表征与自监督光场重建方法及装置

    公开(公告)号:CN115423946A

    公开(公告)日:2022-12-02

    申请号:CN202211363939.5

    申请日:2022-11-02

    Applicant: 清华大学

    Abstract: 本公开涉及计算机技术领域,尤其涉及一种大场景弹性语义表征与自监督光场重建方法及装置。其中,该大场景弹性语义表征与自监督光场重建方法,包括:获取目标场景对应的第一深度图集合,其中,第一深度图集合包括至少一个视角对应的第一深度图;将第一深度图集合输入至目标弹性语义重建模型,得到第二深度图集合,其中,第二深度图集合包括至少一个视角对应的第二深度图;对至少一个视角对应的第二深度图进行融合,得到目标场景对应的目标场景点云。采用本公开可以提高光场重建的准确性、完整性和质量。

    大场景稀疏光场语义驱动智能重建方法、系统与装置

    公开(公告)号:CN115115797A

    公开(公告)日:2022-09-27

    申请号:CN202211025358.0

    申请日:2022-08-25

    Applicant: 清华大学

    Abstract: 本发明公开了大场景稀疏光场语义驱动智能重建方法、系统与装置,该方法包括:获取多视角图像的语义基元;将语义基元的第一网格采样点对应的坐标信息和特征向量输入第一网络模型得到坐标偏移量,并根据坐标偏移量和语义基元的几何属性信息得到语义基元的第二网格;将第二网格采样点对应的坐标信息和特征向量以及观测角度值输入第二网络模型得到第二网格采样点的第一特征信息,以及基于第一特征信息得到语义基元的第二特征信息;根据语义基元的观测角度值和第二特征信息提取的第三特征信息,得到多视角图像的光场重建结果。该方法可以提升光场重建的完整度,同时保证光场重建的精度。

    视觉理解模型训练方法、装置、计算机设备和存储介质

    公开(公告)号:CN112712130B

    公开(公告)日:2022-06-10

    申请号:CN202110044054.8

    申请日:2021-01-13

    Applicant: 清华大学

    Abstract: 本申请提出一种视觉理解模型训练方法以装置。其中方法包括:对第一视觉信息理解任务的第一图像样本和第二视觉信息理解任务的第二图像样本分别进行编码,以获得与第一图像样本对应的第一编码结果和与第二图像样本对应的第二编码结果;基于第一编码结果对多个第一图像样本进行聚类,以得到每个第一图像样本所属的聚类类别;将每个第一图像样本按照同一类别组成至少一批训练数据对解码器进行训练,并在所有类别都训练结束后,从多个第一图像样本中选取M个代表性样本并存储至多级记忆模块的一级记忆中;基于多级记忆模块之中一级记忆中的所有代表性样本和第二图像样本,按照同一聚类类别组成至少一批训练数据对解码器进行训练。

    三维重建中实时全局优化和错误回环判断的方法及装置

    公开(公告)号:CN110986968B

    公开(公告)日:2022-05-24

    申请号:CN201910968740.7

    申请日:2019-10-12

    Applicant: 清华大学

    Abstract: 本发明公开了一种三维重建中实时全局优化和错误回环判断的方法及装置,其中,方法包括以下步骤:获取视觉信息和IMU信息,通过视觉信息的二次统计量和IMU信息的预计分构建优化方程,以进行CPU的实时在线全局优化;在全局优化函数中耦合变换矩阵,并且在全局优化过程中,提供状态估计量,使得在快速移动和特征点少的时候,继续进行建图;获取IMU零偏的估计量,并根据IMU零偏的估计量识别错误回环和正确回环。该方法可以在不损失精度的前提下实现了高效率的视觉和IMU信息的全局优化,且没有因为标定不准确导致的累积误差的问题,并可以进行准确的回环正确性的判断,简单易实现。

    一种傅里叶域的光场解卷积方法及装置

    公开(公告)号:CN113971722B

    公开(公告)日:2022-05-17

    申请号:CN202111587238.5

    申请日:2021-12-23

    Applicant: 清华大学

    Abstract: 本申请提出一种傅里叶域的光场解卷积方法及装置,涉及计算机摄像学技术领域,其中,该方法包括:获取光场显微数据,将光场显微数据通过随机角度组合的方式进行两两组合,形成多组角度子组;将多组角度子组输入傅里叶域中进行重建迭代处理,得到重建图像。与现有技术相比,本申请通过随机角度组合的方式将获取的光场显微数据进行两两组合以形成多组角度子组,并在傅里叶域中对形成的多组角度子组进行三维重建的方案,在实现了无伪影重建的同时,降低了计算成本,加快了3D成像的重建速度。

Patent Agency Ranking