-
公开(公告)号:CN119580208A
公开(公告)日:2025-03-07
申请号:CN202411313188.5
申请日:2024-09-20
Applicant: 桂林电子科技大学
IPC: G06V20/56 , G06V20/40 , G06V20/64 , G06V10/25 , G06V10/764 , G06V10/766 , G06V10/80 , G06V10/82 , G06T7/246 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本发明提供一种基于DETR的3D目标检测与跟踪方法,方法包括:从LIDER相机获取连续帧的点云数据流;将连续帧的原始点云数据转换为规则的体素网格并提取其高维视频特征;学习了一组4D Tubelet Query,并利用时间自注意力和空间交叉注意力模块对视频片段的动态时空特性进行建模,以增强其表征能力;最后,本发明的模型对每个Tubelet Query进行边界框预测,使用集对集损失来衡量真实值与预测值之间的差异实现多目标跟踪任务的端到端学习。本发明通过设计Tubelet,深度挖掘并整合时空维度上的信息,将多目标跟踪任务简化为检测任务,以实现检测和跟踪任务的统一,减少了传统多目标跟踪对帧级检测器的严重依赖。
-
公开(公告)号:CN119942076A
公开(公告)日:2025-05-06
申请号:CN202510012161.0
申请日:2025-01-03
Applicant: 桂林电子科技大学
IPC: G06V10/25 , G06V20/64 , G06V10/80 , G06V10/42 , G06V10/44 , G06V10/40 , G06V10/77 , G06V10/75 , G06V10/764 , G06N3/0464 , G06N3/045 , G06N3/0499 , G06N3/084
Abstract: 本发明公开了一种基于全局特征增强与假阴性矫正的3D多目标检测方法,方法包括:首先从LiDAR传感器获取点云数据,并转换为规则体素网格,提取鸟瞰图(BEV)特征。设计滑动窗口注意力模块,结合自适应动态区域重定位裁剪,使每个区域的特征与其他区域进行交互,增强局部特征表征能力,促进全局上下文信息融合。具体实现包括区域划分、自适应动态区域重定位裁剪、区域自注意力以及滑动区域注意力机制的应用,以捕捉不同区域间的相互作用;构建并行的多阶段热图编码器,从BEV特征中解码中心热图并投影到BEV视图。热图峰值对应潜在目标位置,通过分析强度分布识别前k个最显著的目标特征,确保精确定位;同时引入累积伪阳性管理(APM)系统,在每层热图基础上生成掩码图,结合上层掩码图和当前热图更新检测结果,选择新的前k个最高峰值实例特征,减少误报和漏检,提高检测精度。最后通过多头自注意力以及局部交叉注意力机制强化实例在全局中的表征能力,最终优化BEV特征以预测3D边界框。
-
公开(公告)号:CN119380300A
公开(公告)日:2025-01-28
申请号:CN202411318112.1
申请日:2024-09-20
Applicant: 桂林电子科技大学
IPC: G06V20/56 , G06V20/40 , G06V10/25 , G06V10/44 , G06V10/80 , G06V10/77 , G06V10/764 , G06V10/75 , G06V10/82
Abstract: 本发明提供了一种基于Transformer的3D多目标检测与跟踪方法,涉及自动驾驶和三维目标检测与跟踪技术领域。该方法包括:从六个摄像头获取连续帧的RGB图像数据流;对图像数据中的物体进行检测与跟踪;设计特征提取网络,将RGB数据流映射到鸟瞰图BEV上,以便更好地感知车辆周围环境;设计4D Tubelet Query以动态表示数据流中所有的tubelets;设计时序自注意力机制,融合长短时序上BEV特征信息,以捕捉目标的时序动态性;设计交叉注意力机制,融合4D Tubelet Query和BEV视频流,以动态学习多物体的外貌特征、角度信息以及轨迹信息等进行相应的学习;设计任务头,将Transformer获取的Query特征通过FFN生成最终的物体检测框和轨迹信息。本发明采用上述的一种基于Transformer的3D多目标检测与跟踪方法,解决了现有方法在三维多目标检测与跟踪上TBD的不足,巧妙地将检测与跟踪耦合,实现高精度的目标检测与跟踪。
-
公开(公告)号:CN119904860A
公开(公告)日:2025-04-29
申请号:CN202510040317.6
申请日:2025-01-10
Applicant: 桂林电子科技大学
Abstract: 本发明公开了一种基于三维点云的果实自动计数方法,涉及水果果实估产技术领域。该方法首先利用LIDAR相机捕获果园场景的点云序列数据及其对应的相机运动轨迹信息,并对三维场景进行俯瞰得到水果占用地图FOM;然后构建基于点云序列数据的高效物体检测模块,使用时空注意力引导的快速目标建议与状态初估计网络,基于早期集成阶段的FOM引导RPN以及中间集成阶段Fusion R‑CNN融合框架进行果实检测;最后基于AB3DMOT算法,构建基于点云序列数据的果实跟踪模块,进行时空记忆导向的运动预测和水果占用地图更新。本发明通过将物体状态随时间变化的累积记忆信息回灌至检测模块,显著提升了目标检测器检测3D目标时的精度和跟踪效率,实现了三维空间中物体持续定位、跟踪和识别。
-
公开(公告)号:CN118781189A
公开(公告)日:2024-10-15
申请号:CN202410903520.7
申请日:2024-07-08
Applicant: 桂林电子科技大学
Abstract: 本发明公开了一种基于多级3D高斯的密集RGB‑D SLAM方法,涉及三维场景重建和机器人自主导航领域。该方法包括:从RGB‑D相机获取连续的RGB图像和深度图数据流;对RGB‑D数据中的关键帧进行跟踪;设计多级高斯表示技术,将场景的几何和纹理细节分别用不同级别的高斯分布进行描述,并通过映射构建场景的三维地图;设计高斯渲染器对这些高斯分布进行渲染,生成RGB图像、深度图和可见性轮廓图;RGB‑D数据流与渲染结果作为输入反馈给系统的损失优化器,迭代优化多级高斯表示,最终重构出三维场景。本发明采用上述的一种基于多级3D高斯的密集RGB‑D SLAM方法,解决了现有方法在深度误差和渲染质量方面的不足,实现高精度的场景重建和导航。
-
-
-
-