- 专利标题: 基于语义传播和跨注意力机制的多模态3D目标检测方法
-
申请号: CN202311084859.0申请日: 2023-08-28
-
公开(公告)号: CN117173655B公开(公告)日: 2024-07-05
- 发明人: 魏明强 , 李赫翀 , 李明磊
- 申请人: 南京航空航天大学
- 申请人地址: 江苏省南京市江宁区将军大道29号
- 专利权人: 南京航空航天大学
- 当前专利权人: 南京航空航天大学
- 当前专利权人地址: 江苏省南京市江宁区将军大道29号
- 代理机构: 南京有岸知识产权代理事务所
- 代理商 王磊
- 主分类号: G06V20/56
- IPC分类号: G06V20/56 ; G06V10/44 ; G06V10/80 ; G06V10/25 ; G06V10/764 ; G06V10/82 ; G06N3/0455 ; G06N3/0464 ; G06N3/048 ; G06N3/08
摘要:
本发明公开了一种基于语义传播和跨注意力机制的多模态3D目标检测方法,包括以下步骤:将稀疏深度图与彩色图像输入到深度补全网络中获得伪点云,再将原始点云与伪点云分别进行体素化,通过3D骨干网络获取鸟瞰图视角特征,在空间语义信息传播模块下提取特征,获取第一阶段候选框并进行感兴趣区域池化,网格点跨注意力机制模块丰富网格点间特征,获取第二阶段包围框,进行后处理获得检测结果。本发明能够提取更鲁棒的鸟瞰图视角下的特征以及感兴趣区域特征,从而使得模型在点云场景中能够得到更加精确的3D目标检测分类以及定位结果,能够减少误检以及漏检现象的发生,进而使得模型在无人驾驶的实际感知应用中给人类提供更加安全稳定的服务。
公开/授权文献
- CN117173655A 基于语义传播和跨注意力机制的多模态3D目标检测方法 公开/授权日:2023-12-05