一种基于轻量化域适应器的V2X协同感知方法和系统

    公开(公告)号:CN119625672A

    公开(公告)日:2025-03-14

    申请号:CN202411757263.7

    申请日:2024-12-03

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于轻量化域适应器的V2X协同感知方法和系统。本发明将轻量化的域适应器网络放置在自我车辆搭载的第一V2X协同感知网络的各协同车辆的特征图输入支路中,形成第二V2X协同感知网络,利用训练完成的第二V2X协同感知网络实现自我车辆与协同车辆的协同感知。本发明通过引入域适应器网络,成功实现了在自我车辆与协同车辆特征图异构异质情况下的协同3D目标检测。本发明在无需重新训练整个基础协同检测网络的情况下,通过插入不同特征图各自对应的域适应器,有效缩小了异构异质特征图之间的域差异,大幅提升了基于V2X的协同3D目标检测的检测性能和场景适应性,对于提高自动驾驶的协同感知性能具有很高的实用价值。

    一种基于自监督深度学习的单目视觉惯导定位方法

    公开(公告)号:CN114526728B

    公开(公告)日:2023-12-05

    申请号:CN202210041486.8

    申请日:2022-01-14

    Applicant: 浙江大学

    Inventor: 项志宇 刘磊

    Abstract: 本发明公开了一种基于自监督深度学习的单目视觉惯导定位方法。本发明采集每个场景的数据并进行处理后,分别获得图像预处理数据和归一化后的原始惯导传感器数据以及对应的惯导传感器预积分数据;再根据时间戳进行数据对齐,并构成训练集;将训练集输入网络中进行训练,获得训练好的网络;采集目标场景的数据,处理后获得目标场景的数据并输入网络中,输出预测的6自由度的相对位姿,基于目标场景的惯导传感器预处理数据利用最小二乘法对预测的6自由度的相对位姿进行绝对尺度处理后,获得相机的6自由度的绝对位姿。本发明提升了位姿估计和深度估计的精度,不需要对视觉和惯导传感器进行严格的时空标定和初始化,具有很强的鲁棒性。

    一种类别引导中心点邻域搜索半径的三维目标检测方法

    公开(公告)号:CN116468950A

    公开(公告)日:2023-07-21

    申请号:CN202310440172.X

    申请日:2023-04-23

    Applicant: 浙江大学

    Abstract: 本发明公开了一种类别引导中心点邻域搜索半径的3D目标检测方法,包括如下:(1)激光雷达点云不改变点云的结构,在数据预处理阶段,需将不同场景采集的点云均降采样到一个固定数值N,作为神经网络的输入;(2)建立神经网络结构,利用已知的目标检测数据集对神经网络结构进行训练,设置总的损失函数对神经网络输出进行监督,获取完成训练的神经网络结构参数;(3)将自动驾驶场景下激光雷达采集的点云输入到训练完成的神经网络结构中,输出神经网络的类别信息和3D预测框的回归残差,根据当前场景的分类结果和回归残差进行3D预测框的计算,获取最终的预测结果。本发明方法可为自动驾驶真实场景下的3D目标检测提供解决方案。

    一种基于前景强化知识蒸馏的点云3D目标检测方法

    公开(公告)号:CN116246096A

    公开(公告)日:2023-06-09

    申请号:CN202211648986.4

    申请日:2022-12-20

    Applicant: 浙江大学

    Inventor: 赵攀 项志宇

    Abstract: 本发明公开了一种基于前景强化知识蒸馏的点云3D目标检测方法。首先,构建已知数据集中各帧点云对应的网络输入点云;接着构建PAD‑Net,PAD‑Net由教师检测网络和学生检测网络之间通过特征蒸馏模块相连组成,将网络输入点云输入到PAD‑Net的教师检测网络和学生检测网络中对PAD‑Net进行训练,将训练好的学生检测网络作为最终前景点云检测网络;最后激光雷达实时采集点云并叠加保存的历史时刻点云,获得实时输入点云序列,将实时输入点云序列输入最终前景点云检测网络中,预测获得当前时刻所有目标的类别和定位信息。本发明能够有效克服单帧点云固有的稀疏性缺陷,提升对遮挡严重、距离较远的困难目标的检测效果。

    一种基于场景流的激光雷达目标检测与运动跟踪方法

    公开(公告)号:CN111476822B

    公开(公告)日:2023-04-18

    申请号:CN202010269236.0

    申请日:2020-04-08

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于场景流的激光雷达目标检测与运动跟踪方法。自身车辆平台上的激光雷达采集获得多帧时序点云,体素化处理生成多帧鸟瞰图;建立SDP‑Net网络结构,通过SDP‑Net网络结构实现自身车辆平台的位姿估计、点云中的3D目标的检测、预测和追踪;输入训练设置总损失函数进行优化监督,获得网络参数值;待测点云输入到SDP‑Net网络结构中,由SDP‑Net网络结构输出自身车辆平台的相对位姿变化以及目标的检测、预测和追踪结果。本发明无需对多帧点云数据进行复杂的预先配准操作,能有效提取多帧之间的运动信息,在复杂场景中同时完成自身位姿估计、3D目标检测、预测和追踪的任务获得高准确率,计算代价小,实时性强。

    一种融合场景语义的室外单目同步建图与定位方法

    公开(公告)号:CN112734845B

    公开(公告)日:2022-07-08

    申请号:CN202110023602.9

    申请日:2021-01-08

    Abstract: 本发明公开了一种融合场景语义的室外单目同步建图与定位方法。获取训练数据集,构建训练实时语义分割网络,接收单目相机图像输出语义分割结果图,获得语义类别标签;实时通过SLAM前端模块的视觉里程计接收单目相机图像,获取特征点和描述子,组建语义特征点;利用语义特征点建立语义地图,匹配更新语义地图点的语义类别标签统计信息;在SLAM后端模块接收不同时刻视觉里程计测量的单目相机位姿,利用位姿构建最小二乘优化重投影误差时,加入语义权重优化。本发明将场景语义融入到SLAM系统中,根据语义分割结果进行动态物体滤除,根据语义类别标签为特征点分配不同的优化权重,有效提升了整个SLAM系统的定位精度,计算代价小,实时性强。

    一种基于自监督深度学习的单目视觉惯导定位方法

    公开(公告)号:CN114526728A

    公开(公告)日:2022-05-24

    申请号:CN202210041486.8

    申请日:2022-01-14

    Applicant: 浙江大学

    Inventor: 项志宇 刘磊

    Abstract: 本发明公开了一种基于自监督深度学习的单目视觉惯导定位方法。本发明采集每个场景的数据并进行处理后,分别获得图像预处理数据和归一化后的原始惯导传感器数据以及对应的惯导传感器预积分数据;再根据时间戳进行数据对齐,并构成训练集;将训练集输入网络中进行训练,获得训练好的网络;采集目标场景的数据,处理后获得目标场景的数据并输入网络中,输出预测的6自由度的相对位姿,基于目标场景的惯导传感器预处理数据利用最小二乘法对预测的6自由度的相对位姿进行绝对尺度处理后,获得相机的6自由度的绝对位姿。本发明提升了位姿估计和深度估计的精度,不需要对视觉和惯导传感器进行严格的时空标定和初始化,具有很强的鲁棒性。

    一种融合全局训练的深度强化学习避障导航方法

    公开(公告)号:CN112882469B

    公开(公告)日:2022-04-08

    申请号:CN202110049370.4

    申请日:2021-01-14

    Applicant: 浙江大学

    Abstract: 本发明公开了一种融合全局训练的深度强化学习避障导航方法。根据已知信息规划初始路径;机器人从初始点沿着初始路径向目标点运动;选择临时目标向着临时目标运动;设置累计期望奖励惩罚值,不断多次导航,机器人导航过程中每一帧给予奖励惩罚值;从传感器获得交互元组;输入深度学习网络训练;将待导航的交互元组输入训练后的深度学习网络,输出最优的路径及累计期望奖励惩罚值,按照最优路径运动。本发明能够有效地提高深度强化学习的收敛速度,在导航过程中提高机器人的导航效率,同时使得机器人的运动具有环境友好性,将对周边环境的影响降至最低。

    一种提高鲁棒性的单目视觉SLAM初始化方法

    公开(公告)号:CN112734839A

    公开(公告)日:2021-04-30

    申请号:CN202011633399.9

    申请日:2020-12-31

    Abstract: 本发明公开了一种提高鲁棒性的单目视觉SLAM初始化方法。建立滑动窗口,预加入连续的帧图像作为初始关键帧,第一个为参考帧;对每个关键帧提取点特征和线特征,在每两关键帧之间进行特征匹配,获得点特征匹配对集合和线特征匹配对集合;对每两关键帧,利用特征匹配对集合计算两关键帧之间的相对位姿,并处理获得三维点和三维直线,所有关键帧和三维点、三维直线构成初始地图;通过全局BA优化获得每个关键帧的位姿、三维点和三维直线的三维坐标更精确结果,建立精确初始地图。本发明能够有效提高单目视觉SLAM系统初始化的鲁棒性和精度,在具有挑战性的场景中也能快速完成初始化并保证精度,实时性强。

Patent Agency Ranking