公开(公告)号：CN116343159B

公开(公告)日：2023-08-01

申请号：CN202310586543.5

申请日：2023-05-24

Applicant: 之江实验室

Inventor： 叶宏量 ,  梅继林 ,  胡瑜

IPC: G06V20/56 ,  G06V10/80 ,  G06V10/44 ,  G06V10/26 ,  G06V10/82

Abstract: 本发明涉及一种基于多模态数据融合的非结构化场景可通行区域检测方法、装置及存储介质，其中方法包括：获取图像数据；基于MCF模块对图像进行模态融合；基于主干网络对融合RGB特征图和融合表面法向量特征图进行特征提取；基于主干网络特征提取结果进行边缘分割，得到边缘分割特征图和可通行区域边缘预测结果；提取相机模态分割特征图、激光雷达模态分割特征图及其对应的可通行区域初步预测结果；对边缘分割特征图、相机模态分割特征图和激光雷达模态分割特征图在通道层面进行连接，通过分割特征图和卷积操作提取精细可通行区域预测结果。与现有技术相比，本发明提升了在非结构化道路场景数据集上的检测精确度。

公开(公告)号：CN116343159A

公开(公告)日：2023-06-27

申请号：CN202310586543.5

申请日：2023-05-24

Applicant: 之江实验室

Inventor： 叶宏量 ,  梅继林 ,  胡瑜

IPC: G06V20/56 ,  G06V10/80 ,  G06V10/44 ,  G06V10/26 ,  G06V10/82

Abstract: 本发明涉及一种基于多模态数据融合的非结构化场景可通行区域检测方法、装置及存储介质，其中方法包括：获取图像数据；基于MCF模块对图像进行模态融合；基于主干网络对融合RGB特征图和融合表面法向量特征图进行特征提取；基于主干网络特征提取结果进行边缘分割，得到边缘分割特征图和可通行区域边缘预测结果；提取相机模态分割特征图、激光雷达模态分割特征图及其对应的可通行区域初步预测结果；对边缘分割特征图、相机模态分割特征图和激光雷达模态分割特征图在通道层面进行连接，通过分割特征图和卷积操作提取精细可通行区域预测结果。与现有技术相比，本发明提升了在非结构化道路场景数据集上的检测精确度。