公开(公告)号：CN117808689A

公开(公告)日：2024-04-02

申请号：CN202311448167.X

申请日：2023-11-02

Applicant: 南京邮电大学

Inventor： 孙力娟 ,  高磊 ,  韩崇 ,  郭剑 ,  王娟

IPC: G06T5/50 ,  G06T5/60 ,  G06T3/4038 ,  G06T7/521 ,  G06T7/55 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/09 ,  G06N3/098 ,  G06V10/26 ,  G06V20/70 ,  G06V10/30 ,  G06V10/44 ,  G06V10/52 ,  G06V10/764 ,  G06V10/766 ,  G06V10/82 ,  G01S13/86

Abstract: 基于毫米波雷达与摄像头融合的深度补全方法，利用多模态融合与监督的方法，预处理毫米波雷达点云与摄像头图像数据，在训练中将毫米波雷达点云和摄像头图像作为神经网络的输入，累积多帧毫米波雷达点云并投影至图像上，同步毫米波雷达点云与图像数据，累积多帧激光雷达并执行光流估计与语义分割以去除噪音作为神经网络深度补全的标签监督。经过训练后的系统，只需要使用毫米波雷达点云与摄像头图像作为输入就可以实现对真实场景的深度补全的深度输出。通过上述方式，本方法能够实现在降低经济与计算成本且不考虑光照、恶劣天气条件等情况下提升对深度图的准确度，具有鲁棒性强，稳定性、实时性、高效性的特点。