公开(公告)号：CN117058655A

公开(公告)日：2023-11-14

申请号：CN202311020123.7

申请日：2023-08-14

Applicant: 电子科技大学

Inventor： 于军胜 ,  杨淼 ,  周凌伟 ,  彭真明

IPC: G06V20/58 ,  G06V10/20 ,  G06V10/80 ,  G06V10/774

Abstract: 本发明公开了一种基于多模态融合的前视道面障碍物检测方法，属于激光点云与视觉图像的特征融合及目标检测领域；在获取点云数据及视觉图像的数据后，首先进行数据集的标注；再对点云进行地面去除，并采用变换矩阵，将点云从三维变换投影到二维，保留点云的深度信息和反射信息，得到稀疏的点云深度图和反射图；然后对深度图和反射图进行预处理，完成点云数据的目标增强，得到点云图像；最后采用深度学习的方式，将点云图像和视觉图像输入到双输入自适应特征融合的目标检测网络中，进行训练并优化，输出最终的检测结果；本发明解决了现有道面障碍物检测方法对障碍物难以进行准确检测，以及检测鲁棒性差的问题。

公开(公告)号：CN117036326A

公开(公告)日：2023-11-10

申请号：CN202311061033.2

申请日：2023-08-22

Applicant: 电子科技大学

Inventor： 于军胜 ,  周凌伟 ,  杨淼 ,  彭真明

IPC: G06T7/00 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08 ,  G06T7/50

Abstract: 本发明公开了一种基于多模态融合的缺陷检测方法，首先进行数据集标注，接下来将点云数据于视觉图像的视角相匹配，生成反射强度图。以经典的YOLO结构网络为基础，将原始的单输入BackBone修改为反射强度图及视觉图像双输入的BackBone。分别引出不同尺度下反射信息和视觉图像的特征层，并将两者进行特征融合。将融合的特征结果引入FPN结构，同时添加检测头。结合标注的缺陷信息进行模型训练。在检测过程中，对点云数据采用随机采样一致算法保留地面信息。同时结合点云深度信息与视觉图相匹配，得到缺陷深度信息。本发明对现有目标检测算法对缺陷难以准确检测，以及深度信息难以得到的问题进行了有效优化。