公开(公告)号：CN116310679A

公开(公告)日：2023-06-23

申请号：CN202310199401.3

申请日：2023-03-04

Applicant: 西安电子科技大学青岛计算技术研究院

Inventor： 王建东 ,  孙恒 ,  张涛 ,  曹泽鹏 ,  张志为 ,  马志宇 ,  胡涵睿 ,  蒋文婷 ,  李烨城 ,  李守文 ,  张向涛

IPC: G06V10/80 ,  G06V10/25 ,  G06V10/82 ,  G06N3/08 ,  G06T7/80

Abstract: 本发明属于目标检测技术领域，公开了一种多传感器融合目标检测方法、系统、介质、设备及终端，通过雷达点投影和视觉图像双通道，使用卡尔曼滤波算法完成雷达目标帧之间的关联，采用Resnet‑50主干作为特征图的特征提取网络，使用张正友标定法完成相机内外参数的标定；通过坐标系转换将雷达点投影到图像的方式实现空间关联，使用拉格朗日插值法实现时间关联；通过对雷达点生成的感兴趣区域进行自注意力和交叉注意力处理，得到最终目标检测结果。本发明基于雷达投影点的注意力机制利用雷达点所在位置特征帮助检测图片的类别和位置信息，使被检测的图片位置和类别精度鲁棒性更高，并在实际场景的车路数据集中实验验证了本发明的有效性。