公开(公告)号：CN119785342A

公开(公告)日：2025-04-08

申请号：CN202411941272.1

申请日：2024-12-26

Applicant: 西安交通大学

Inventor： 杨勐 ,  邝兆年 ,  丁瑞 ,  郑南宁

IPC: G06V20/64 ,  G06V10/764 ,  G06T15/20 ,  G06T7/80 ,  G06T7/73 ,  G06T5/50 ,  G06F17/11 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种用于单目3D目标检测的数据增强方法及系统，分别构建场景数据库和物体数据库；在场景数据库中随机采样场景，在场景的可达区域中随机采样位置，在物体数据库中随机采样物体，经碰撞，遮挡检测后插入随机采样位置，将物体和场景融合得到重组图像和深度图；基于深度图，将重组图像转换到3D空间，并对相机姿态进行随机扰动，生成不同视角下的训练图像；物体、场景与相机姿态的随机重组合成不断生成的新图像，作为神经网络的训练数据，提升单目3D目标检测模型的性能；本发明能够高效利用已有数据资源，显著提升模型性能；有利于基于相机的场景感知算法在自动驾驶工业界的应用，有利于相关产业的快速落地和发展。

公开(公告)号：CN116091574A

公开(公告)日：2023-05-09

申请号：CN202310028861.X

申请日：2023-01-09

Applicant: 西安交通大学

Inventor： 杨勐 ,  周祥 ,  丁瑞 ,  郑南宁

IPC: G06T7/50 ,  G06T7/11 ,  G06T7/194 ,  G06T7/66 ,  G06V20/64 ,  G06T7/70

Abstract: 本发明公开了一种基于平面约束与位置约束的3D目标检测方法及系统，输入数据RGB图像，使用深度估计模型ForeSeE训练得到深度图；使用实例分割掩膜对得到的深度图进行分割，将获得的前景部分转换为前景点云；以得到的前景点云为中心，大小与GT检测框相同生成伪点云框标签；冻结深度估计模型的参数，训练3D检测网络，采用伪点云标签作为训练标签，完成第一阶段训练，冻结3D检测网络F‑PointNet的参数，训练深度估计模型，利用GT检测框作为3D检测器的标签训练深度估计网络，完成第二阶段训练；交替训练第一阶段和第二阶段，使得3D检测网络F‑PointNet能够时刻正确预测伪点云位置。本发明不仅能够深度估计效果得到明显改观，轮廓更加突出，并提升3D检测模型性能。

公开(公告)号：CN117765525A

公开(公告)日：2024-03-26

申请号：CN202311786873.5

申请日：2023-12-23

Applicant: 西安交通大学

Inventor： 杨勐 ,  丁瑞 ,  郑南宁

IPC: G06V20/64 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084 ,  G06V10/774

Abstract: 本发明公开了一种基于单目相机的跨模态蒸馏3D目标检测方法及系统，使用激光雷达数据训练教师网络，使用相机数据训练学生网络，计算教师网络与学生网络各目标的深度不确定度；将训练后的教师网络和学生网络与蒸馏模块组合构成蒸馏网络，计算加权特征蒸馏与加权关系蒸馏各目标的权重；基于加权特征蒸馏与加权关系蒸馏各目标的权重计算加权特征蒸馏与加权关系蒸馏的损失函数，将神经网络的梯度反向传播，更新神经网络的参数；当更新神经网络的参数达到最大迭代次数或者满足终止条件时，保留学生网络用于真实场景。本发明有利于基于相机的场景感知算法在自动驾驶工业界的应用，有利于相关产业的快速落地与发展。