公开(公告)号：CN117152414A

公开(公告)日：2023-12-01

申请号：CN202311115180.3

申请日：2023-08-31

Applicant: 西安交通大学 ,  宁波市舜安人工智能研究院

Inventor： 陈仕韬 ,  张勇建 ,  张皓霖 ,  郑南宁

IPC: G06V10/25 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/82 ,  G06V10/40 ,  G06V10/80 ,  G06V10/764 ,  G06V10/20 ,  G06V10/24 ,  G06V10/22

Abstract: 本发明公开一种基于尺度注意力辅助学习方法的目标检测方法及系统，通过明确强调特征表示的尺度敏感注意力，来增强复杂交通场景中的检测准确性，引入了一个辅助尺度估计网络，利用骨干网络的多尺度特征，并通过高斯热图进行监督，采用联合优化策略，同时学习辅助网络和物体检测器，从而促进对物体尺度变化敏感的特征，增强网络训练过程中主干网络对于多尺度信息的注意力，提高了模型对于图像中尺度信息的表达能力，在后续特征融合与预测阶段，在训练完成后的推理阶段，将尺度感知网络移除，使用标准的提取特征、特征融合、检测范式完成检测任务，在提升模型检测效果的同时不增加额外的计算负担，辅助网络设计中存在多种优化途径。

公开(公告)号：CN118982560A

公开(公告)日：2024-11-19

申请号：CN202411108638.7

申请日：2024-08-13

Applicant: 西安交通大学

Inventor： 辛景民 ,  田佳硕 ,  张皓霖 ,  林泽伟 ,  刘霍锋

IPC: G06T7/246 ,  G06T7/277 ,  G06T7/80 ,  G06T7/73 ,  G06T7/60 ,  G06V10/25 ,  G06V10/40 ,  G06V10/62 ,  G06V20/54 ,  G06V20/64 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045

Abstract: 本发明公开一种基于地面约束的路侧相机三维检测跟踪方法及系统，所述方法首先在图像视角进行二维目标检测，利用对行人等难检目标的密集输出信息，基于路端相机静止、路端场景，先离线获取地面方程，再利用地面方程、相机内参以及落地点估计得到目标三维信息；使用二维跟踪器获取目标的帧间匹配关系，与后续的三维跟踪器配合完成数据关联，有效改善行人等小目标由于二维检测框不稳定导致三维落地点估计误差较大打乱三维跟踪轨迹的问题，本发明能够实现高精度、低成本的实时检测跟踪，本发明免去了获取激光雷达等传感器的高昂成本，而检测跟踪精度却依旧有所保障，能够充分利用路侧设备的空间先验，有效的提升了方法的泛化性。

公开(公告)号：CN116989825A

公开(公告)日：2023-11-03

申请号：CN202310972417.3

申请日：2023-08-03

Applicant: 西安交通大学 ,  宁波市舜安人工智能研究院

Inventor： 陈仕韬 ,  严宇宸 ,  张皓霖 ,  翟帅帅 ,  郑南宁

IPC: G01C25/00 ,  G01S17/42 ,  G01S17/86 ,  G01S17/89 ,  G01S7/497 ,  G01S19/43 ,  G01S19/41

Abstract: 本发明提出了一种路侧激光雷达‑相机‑UTM坐标系联合标定方法及系统，方法包括以下步骤：选取GNSS RTK设备采集点，并获取UTM坐标序列PUTM；在激光雷达点云中依次提取GNSS RTK设备采集点，并获取激光雷达坐标系下的坐标序列PLidar；在相机图像中依次提取GNSS RTK设备采集点，并获取像素坐标系下的坐标序列PPixel；基于PUTM、PLidar和PPixel，通过非线性优化计算得到激光雷达坐标系、相机坐标系和UTM坐标系之间的外参变换关系能够更加方便、经济、准确地实现路侧激光雷达‑相机‑UTM坐标系的联合外参标定。本发明免去了获取高精度地图的高昂成本，而标定精度却没有损失，且能够在不同交通路口多次采集，不干扰正常交通，降低了采集人员的安全隐患。

公开(公告)号：CN118865357A

公开(公告)日：2024-10-29

申请号：CN202410999754.6

申请日：2024-07-24

Applicant: 西安交通大学

Inventor： 陈仕韬 ,  刘霍锋 ,  张皓霖 ,  汪建基 ,  郑南宁

IPC: G06V20/64 ,  G06N5/04 ,  G06V10/82 ,  G06T7/60 ,  G06V10/40 ,  G06N3/0464 ,  G06V10/764 ,  G06T7/80 ,  G06V10/44 ,  G06N3/08 ,  G06T7/50

Abstract: 本发明公开一种基于地面约束的路侧相机三维目标检测方法及系统，所述方法利用路侧的相机固定位的优势，离线拟合地面方程，作为先验语义信息，在图像视角中进行二维目标检测，保证目标的召回率，再使用基于地面约束的视角转换模块，提高检测精度；具体的，将图像数据输入路侧单目三维目标检测模型中，利用二维骨干网络提取图像特征，使用二维目标检测器进行二维目标检测得到二维目标检测框；使用DepthNet网络进行深度估计，使用LSS方式将图像特征投影得到场景的BEV特征；使用离线获取的地面方程将二维目标框投影到BEV空间，作为三维目标检测的提议框裁剪所述场景的BEV特征，得到形状相同的RoI特征预测三维目标的信息，进行NMS处理得到最终的三维目标检测结果。

公开(公告)号：CN117058640A

公开(公告)日：2023-11-14

申请号：CN202311039603.8

申请日：2023-08-17

Applicant: 西安交通大学

Inventor： 徐林海 ,  鲁志瑶 ,  张皓霖 ,  王若彤 ,  陈仕韬 ,  郑南宁

IPC: G06V20/56 ,  G06V20/70 ,  G06V10/26 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455

Abstract: 本发明公开一种融合图像特征与交通目标语义的3D车道线检测方法及系统，所述方法基于Gen‑LaneNet，针对获取的图像使用分割网络得到图像中的道路语义信息；将获取的图像和道路语义信息分别输入下采样网络中处理，获得道路语义信息特征和图像视觉特征，使用融合子网络对图像特征和道路语义信息进行融合，得到融合后的特征；将融合后的特征投影到虚拟顶视图中，由车道线检测头网络预测顶视图空间的车道线；对顶视图空间的车道线进行几何变换得到3D空间的车道线，使用特征融合模块将语义特征与视觉特征集成，利用融合的特征图预测顶视图车道线，通过几何投影直接得到真实的三维车道点，图像远端的车道线预测更加准确，相比未使用的预测精度提高了接近一倍。