一种基于深度学习和深度相机的点云语义地图的构建方法

    公开(公告)号:CN110610650A

    公开(公告)日:2019-12-24

    申请号:CN201910796731.4

    申请日:2019-08-27

    Abstract: 本发明公开了一种基于深度学习和深度相机的点云语义地图的构建方法。本发明步骤:1、构建神经网络的必须模块;2、搭建神经网络;3、训练神经网络模型;采用semantic3D为训练集,使用反向传播和随机梯度下降,训练神经网络,最小化损失函数,从而不断优化网络权重连接;4、进行相机标定,得到相机的内参,首先利用深度相机采集点云数据,通过相机的内参矩阵将采集到的深度图转换成点云;5、将点云输入到训练好的神经网络当中,使用含有语义信息的点云进行语义地图的构建,从而可以得到语义标签的点云语义地图。本发明能够更加实用的为机器人室内导航和定位提供语义这样的高级特征,便于精准的确定机器人的位置,以及更为精准的回环检测。

    一种基于深度去噪的三维高斯渲染方法

    公开(公告)号:CN119762652A

    公开(公告)日:2025-04-04

    申请号:CN202510265593.2

    申请日:2025-03-07

    Abstract: 本发明公开了一种基于深度去噪的三维高斯渲染方法。首先基于图片序列或者视频获取场景点云和相机位姿,然后基于获取的点云构造神经辐射图;对得到的神经辐射图进行深度去噪;通过端到端训练得到训练好的场景表达;最后通过训练得到的场景表达实现三维高斯渲染。本发明专注于解决光栅化过程中由于采样不充分引入的噪声问题。通过利用深度去噪技术,本发明能够有效去除渲染结果中的“伪影”,可以大幅提升渲染结果的清晰度与真实感,为高质量图形生成与显示提供了一种可靠的技术支持。

    一种基于知识蒸馏的点云渲染增强方法

    公开(公告)号:CN116863053A

    公开(公告)日:2023-10-10

    申请号:CN202310858434.4

    申请日:2023-07-13

    Abstract: 本发明公开了一种基于知识蒸馏的点云渲染增强方法。本发明包括以下步骤:步骤1、构造并训练神经辐射场;输入图像序列,使用训练好的神经辐射场进行重建,得到场景隐式表达;步骤2、训练可微分的点云渲染器,在训练的过程当中,将得到的场景隐式表达作为先验知识,利用知识蒸馏来修正Z‑buffer,从而得到更好的渲染结果。本发明利用先前学习到神经辐射场所产生的高质量的Z‑Buffer,作为高质量的先验,来修正可微分的点云渲染器的权重,以减少渲染中的噪点和其他失真效果,从而生成更加准确和精细的渲染图像。通过这些改进,本发明能够在保持点云原有信息的基础上提高渲染效果和质量,从而更好地满足VR/AR系统等下游任务的需求。

    一种基于位置编码增强的点云渲染方法、系统及设备

    公开(公告)号:CN118587341A

    公开(公告)日:2024-09-03

    申请号:CN202410682122.7

    申请日:2024-05-29

    Abstract: 本发明公开了一种基于位置编码增强的点云渲染方法、系统及设备。本发明在神经网络训练阶段需要与点云观察视角对齐的2D图片。在训练过程当中,首先对点云做位置编码。本发明使用超参网络和高斯采样来增强位置编码,之后再输入渲染网络得到最后结果。其中位置编码增强网络中的超参网络具体实现如下:首先将超参网络中的线性层Ⅰ视为低频段sin(wx+b)的ω和b;其次定义ReLU层中的激活函数;最后将超参网络中的线性层Ⅱ视为高频段sin(wx+b)的ω和b。本发明使得位置编码的过程参与神经网络整个可微过程的优化,从而生成更加准确和精细的渲染图像。

    一种基于全卷积神经网络的单目相机室外三维重建方法

    公开(公告)号:CN110060331A

    公开(公告)日:2019-07-26

    申请号:CN201910193450.X

    申请日:2019-03-14

    Abstract: 本发明公开了一种基于全卷积神经网络的单目相机室外三维重建方法。本发明包括以下步骤:步骤1、利用监督学习的方式训练全卷积神经网络;步骤2、用全卷积神经网络对每一张图片进行深度估计;用单目相机拍摄一系列室外场景的连续的图片,然后将每一张图片作为输入,用前面已经训练好的全卷积神经网络对图片进行深度估计,得到其的三维点云模型;步骤3、用ICP算法将每一张图片的三维模型融合成一个完整的三维模型。本发明解决了单目相机的三维重建问题,且通过本发明可以在普通PC机或工作站等硬件系统上实现。

Patent Agency Ranking