公开(公告)号：CN117392629A

公开(公告)日：2024-01-12

申请号：CN202311399865.5

申请日：2023-10-26

Applicant: 河北工程大学

Inventor： 孙扬 ,  郭建华 ,  郑久帅 ,  张宇航 ,  李毅

IPC: G06V20/56 ,  G06V10/44 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08 ,  G01S17/89

Abstract: 本发明公开了基于相机与雷达融合的多模态描述符地点识别方法及系统，涉及计算机视觉技术领域，本发明提出的基于相机与雷达融合的多模态描述符地点识别方法包括：获取初始图像；对初始图像进行特征提取和聚合，获取点云描述符和图像描述符；对所述点云描述符和所述图像描述符进行融合，获取多模态特征描述符；利用所述多模态特征描述符对预设的基于相机和雷达描述符融合模型进行训练测试，并对预处理的雷达相机数据进行地点识别，获取最终识别结果。本发明采用了带有重叠标签的惰性三元组损失函数，在保证识别精度的前提下，提高了地点识别的鲁棒性及泛化能力，提高了网络模型的识别速度，实现了在线实时运行的目标。