公开(公告)号：CN118823132A

公开(公告)日：2024-10-22

申请号：CN202410764682.7

申请日：2024-06-14

Applicant: 北京工业大学

Inventor： 包雪峰 ,  田锐 ,  谌云莉 ,  刘峰 ,  甄艺强 ,  李永 ,  余舜京

IPC: G06T7/80 ,  G06N3/0455 ,  G06N3/09

Abstract: 本发明公开了一种基于Transformer的路侧LiDAR‑相机外参标定方法及系统，包括LiDAR和相机两类硬件，系统在路侧计算单元上运行。本系统由特征提取、特征匹配和参数预测模块组成。特征提取模块由LiDAR和相机两个分支组成。特征提取模块将LiDAR采集到的点云数据和相机拍摄的图像数据作为输入，输出LiDAR特征和图像特征。特征匹配模块由相关层和Transformer架构组成，将LiDAR特征和图像特征作为输入，对LiDAR和图像特征进行细粒度的匹配。最后，参数预测模块将匹配的LiDAR和相机细粒度特征进行参数回归，对参数进行预测，将输出的参数进行三次迭代细化，最终输出预测的外部参数。本发明针对路侧场景的LiDAR和相机进行自动外部校准，提高了路侧标定的准确性和稳定性，不需要标定物。

公开(公告)号：CN119418300A

公开(公告)日：2025-02-11

申请号：CN202411443335.0

申请日：2024-10-16

Applicant: 北京工业大学 ,  航天东方红卫星有限公司

Inventor： 包雪峰 ,  田锐 ,  谌云莉 ,  甄艺强 ,  余舜京

IPC: G06V20/58 ,  G06V10/80 ,  G06V10/25 ,  G06V10/44 ,  G06V10/82 ,  G06V10/62 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0499

Abstract: 本发明公开了一种基于时空关联的多模态数据融合感知方法及系统，图像数据首先进入图像去噪模块，去除噪声后输入特征提取模块。LiDAR点云数据经过校准生成深度图，进入LiDAR分支的特征提取模块。提取后的图像特征和LiDAR特征在特征融合匹配模块中进行多模态特征的融合和匹配。通过查询初始化模块，系统在鸟瞰图空间中生成一组查询点，附带空间位置信息，通过自适应注意力机制处理融合后的特征，以确保对不同尺度目标的精确检测。融合后的多模态特征通过时空采样与混合模块进行时序上的采样与对齐，最终为检测与分割提供高精度输入。本发明通过将多模态数据与时空关联策略结合，显著提升复杂场景中的3D目标检测与分割精度。