一种基于点云跨视图特征转换的实时三维目标检测方法

    公开(公告)号:CN114511846B

    公开(公告)日:2025-04-04

    申请号:CN202210080792.2

    申请日:2022-01-24

    Applicant: 浙江大学

    Inventor: 项志宇 顾佳琦

    Abstract: 本发明公开了一种基于点云跨视图特征转换的实时三维目标检测方法。利用激光雷达采集得到的三维点云,投影成二维环视图;建立神经网络结构,利用点‑环视特征提取模块对三维点云和二维环视图两种格式进行特征提取,得到三维特征点云;利用分层体素柱模块对三维特征点云进行网格化,最后投影到鸟瞰视图上,得到鸟瞰视图特征;对神经网络结构训练,获得训练好的神经网络结构,将待测的激光雷达点云输入到神经网络结构中,再计算该场景预测得到的三维框。本发明有效提升了基于激光雷达点云的三维目标检测的检测精度,能够充分利用点云各个视图之间的特征优势,并且仅利用一维和二维卷积来完成三维目标检测,在高实时性的条件下提升了三维目标检测精度。

    一种基于伪深度图引导的实时深度补全方法

    公开(公告)号:CN112861729B

    公开(公告)日:2022-07-08

    申请号:CN202110181196.9

    申请日:2021-02-08

    Applicant: 浙江大学

    Inventor: 项志宇 顾佳琦

    Abstract: 本发明公开了一种基于伪深度图引导的实时深度补全方法。RGB相机采集RGB图,激光雷达探测获得稀疏深度图;对稀疏深度图进行形态学操作的数据处理,生成伪深度图;建立神经网络结构,对伪深度图、RGB图和稀疏深度图处理得致密深度图;对神经网络结构训练,设置总损失函数优化监督,获得神经网络结构中所有参数的参数值;所有参数的参数值载入到神经网络结构中,将待测的单帧稀疏深度图输入到神经网络结构中,输出致密深度图。本发明有效提升深度补全的精度,能修正稀疏深度图的错误像素,提供了结构相似度监督,并且预测时回归深度残差图,可在高实时条件下同时获得高精度的深度补全结果。

    一种基于点云跨视图特征转换的实时三维目标检测方法

    公开(公告)号:CN114511846A

    公开(公告)日:2022-05-17

    申请号:CN202210080792.2

    申请日:2022-01-24

    Applicant: 浙江大学

    Inventor: 项志宇 顾佳琦

    Abstract: 本发明公开了一种基于点云跨视图特征转换的实时三维目标检测方法。利用激光雷达采集得到的三维点云,投影成二维环视图;建立神经网络结构,利用点‑环视特征提取模块对三维点云和二维环视图两种格式进行特征提取,得到三维特征点云;利用分层体素柱模块对三维特征点云进行网格化,最后投影到鸟瞰视图上,得到鸟瞰视图特征;对神经网络结构训练,获得训练好的神经网络结构,将待测的激光雷达点云输入到神经网络结构中,再计算该场景预测得到的三维框。本发明有效提升了基于激光雷达点云的三维目标检测的检测精度,能够充分利用点云各个视图之间的特征优势,并且仅利用一维和二维卷积来完成三维目标检测,在高实时性的条件下提升了三维目标检测精度。

    一种基于伪深度图引导的实时深度补全方法

    公开(公告)号:CN112861729A

    公开(公告)日:2021-05-28

    申请号:CN202110181196.9

    申请日:2021-02-08

    Applicant: 浙江大学

    Inventor: 项志宇 顾佳琦

    Abstract: 本发明公开了一种基于伪深度图引导的实时深度补全方法。RGB相机采集RGB图,激光雷达探测获得稀疏深度图;对稀疏深度图进行形态学操作的数据处理,生成伪深度图;建立神经网络结构,对伪深度图、RGB图和稀疏深度图处理得致密深度图;对神经网络结构训练,设置总损失函数优化监督,获得神经网络结构中所有参数的参数值;所有参数的参数值载入到神经网络结构中,将待测的单帧稀疏深度图输入到神经网络结构中,输出致密深度图。本发明有效提升深度补全的精度,能修正稀疏深度图的错误像素,提供了结构相似度监督,并且预测时回归深度残差图,可在高实时条件下同时获得高精度的深度补全结果。

Patent Agency Ranking