一种基于Transformer的3D多目标检测与跟踪方法

    公开(公告)号:CN119380300A

    公开(公告)日:2025-01-28

    申请号:CN202411318112.1

    申请日:2024-09-20

    Abstract: 本发明提供了一种基于Transformer的3D多目标检测与跟踪方法,涉及自动驾驶和三维目标检测与跟踪技术领域。该方法包括:从六个摄像头获取连续帧的RGB图像数据流;对图像数据中的物体进行检测与跟踪;设计特征提取网络,将RGB数据流映射到鸟瞰图BEV上,以便更好地感知车辆周围环境;设计4D Tubelet Query以动态表示数据流中所有的tubelets;设计时序自注意力机制,融合长短时序上BEV特征信息,以捕捉目标的时序动态性;设计交叉注意力机制,融合4D Tubelet Query和BEV视频流,以动态学习多物体的外貌特征、角度信息以及轨迹信息等进行相应的学习;设计任务头,将Transformer获取的Query特征通过FFN生成最终的物体检测框和轨迹信息。本发明采用上述的一种基于Transformer的3D多目标检测与跟踪方法,解决了现有方法在三维多目标检测与跟踪上TBD的不足,巧妙地将检测与跟踪耦合,实现高精度的目标检测与跟踪。

    一种基于三维点云的果实自动计数方法

    公开(公告)号:CN119904860A

    公开(公告)日:2025-04-29

    申请号:CN202510040317.6

    申请日:2025-01-10

    Abstract: 本发明公开了一种基于三维点云的果实自动计数方法,涉及水果果实估产技术领域。该方法首先利用LIDAR相机捕获果园场景的点云序列数据及其对应的相机运动轨迹信息,并对三维场景进行俯瞰得到水果占用地图FOM;然后构建基于点云序列数据的高效物体检测模块,使用时空注意力引导的快速目标建议与状态初估计网络,基于早期集成阶段的FOM引导RPN以及中间集成阶段Fusion R‑CNN融合框架进行果实检测;最后基于AB3DMOT算法,构建基于点云序列数据的果实跟踪模块,进行时空记忆导向的运动预测和水果占用地图更新。本发明通过将物体状态随时间变化的累积记忆信息回灌至检测模块,显著提升了目标检测器检测3D目标时的精度和跟踪效率,实现了三维空间中物体持续定位、跟踪和识别。

Patent Agency Ranking