公开(公告)号：CN119579862A

公开(公告)日：2025-03-07

申请号：CN202411615325.0

申请日：2024-11-13

Applicant: 浙江大学 ,  浙江大学金华研究院

Inventor： 丁勇 ,  韩皓 ,  胡亚坤 ,  何越 ,  王宏宇

IPC: G06V10/25 ,  G06V10/40 ,  G06V10/62 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/08

Abstract: 本发明公开了一种用于自动驾驶的实时目标检测、跟踪和运动预测方法，属于自动驾驶技术领域。本发明主要包括以下步骤：1.接收三维点云数据和相应的二维图像数据；2.提取点云和图像的特征表示；3.采取逐级融合的方式，对图像特征和点云特征进行多模态信息融合，得到自适应融合的体素特征；4.根据自适应融合的体素特征，采用目标检测输出头、行为跟踪输出头和行为预测输出头分析得到车辆周围运动物体的检测结果、跟踪结果和预测结果。该方法利用单个卷积神经网络，结合三维点云数据和相应的二维图像信息，实现了高效准确的三维物体检测、跟踪和运动预测。通过统一的网络架构，将传统多阶段流程整合为一个模型，提高了系统的效率和性能。

公开(公告)号：CN117341727A

公开(公告)日：2024-01-05

申请号：CN202311215579.9

申请日：2023-09-20

Applicant: 浙江大学

Inventor： 丁勇 ,  韩皓 ,  程华元 ,  刘毅飞

IPC: B60W60/00 ,  B60W50/00 ,  G06V20/56 ,  G06V20/70 ,  G06V10/26 ,  G06V10/25 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/042 ,  G06N3/0442 ,  G06N3/0985

Abstract: 本发明公开了一种基于图注意力的端到端自动驾驶行为规划方法，属于自动驾驶技术领域。本发明主要包括以下步骤：1.多模态特征初步提取；2.多类型感知任务实现；3.根据感知结果将特征构建为图形式，实现感兴趣特征筛选；4.利用图注意力神经网络进行特征处理；5.自动驾驶车辆未来行驶路径点预测；6.自动驾驶车辆行为规划。基于本发明所提出的端到端自动驾驶行为规划方法引入了图(Graph)形式的特征，符合室外自动驾驶场景下的离散型信息分布模式，显式地利用了感知结果，在一定程度上弥补了传统端到端模型缺乏可解释性的问题。

公开(公告)号：CN117496142A

公开(公告)日：2024-02-02

申请号：CN202311382432.9

申请日：2023-10-24

Applicant: 浙江大学

Inventor： 丁勇 ,  孙瑀 ,  韩皓 ,  牛乐乐 ,  程华元

IPC: G06V10/26 ,  G06V10/44 ,  G06V10/82 ,  G06V20/64 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/09

Abstract: 本发明公开了一种基于残差网络和深度监督的自动驾驶三维目标检测方法，属于自动驾驶技术领域。本发明主要包括以下步骤：1.基于点云数据的多层次稀疏体素特征的生成；2.BEV特征和三维区域候选框的生成；3.基于残差网络和深度监督进行由体素到点的特征优化；4.三维区域候选框的优化；5.目标检测结果的生成。基于本发明所提出的三维目标检测方法可以充分利用基于体素的RPN网络获得更高的候选框召回率，同时利用残差网络和深度监督，提取更加丰富的点信息以获得更加清晰的3D物体结构信息。深度监督的存在还可以更好的帮助网络进行优化，并且避免了网络训练过程中出现的梯度消失和梯度爆炸现象。

公开(公告)号：CN117372992A

公开(公告)日：2024-01-09

申请号：CN202311291819.3

申请日：2023-10-08

Applicant: 中国三峡建工(集团)有限公司 ,  浙江大学

Inventor： 彭代晓 ,  刘洁 ,  杨张斌 ,  蔡熹 ,  陈飞宇 ,  段永杰 ,  丁勇 ,  韩皓

IPC: G06V20/58 ,  G06V10/25 ,  G06V10/44 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/045

Abstract: 本发明公开了一种基于多模态代理查询的运动预测方法，属于自动驾驶技术领域。包括：提取车辆周围不同模态下的环境特征执行目标检测，将检测结果编码为代理查询；将代理查询初始化为可学习查询向量，将不同模态下的环境特征作为环境信息相关的键向量和值向量，先后更新查询向量，生成环境信息相关的代理查询；提取高精地图的地图特征作为地图信息相关的键向量和值向量，更新环境信息相关的代理查询，生成地图信息相关的代理查询作为最终代理查询，用于完成自动驾驶车辆周围物体运动预测的任务。本发明从多模态数据中获取代理信息，结合多维场景特征和高精地图对周围物体进行运动预测，极大程度上避免了物体漏检问题，提高了预测精度。

公开(公告)号：CN117351443A

公开(公告)日：2024-01-05

申请号：CN202311215574.6

申请日：2023-09-20

Applicant: 浙江大学

Inventor： 丁勇 ,  韩皓 ,  洪宇 ,  程华元 ,  何乐年

IPC: G06V20/56 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/09 ,  G06N3/096 ,  G01S17/931 ,  G01S17/86

Abstract: 本发明公开了一种基于图像‑伪点云特征融合的纯视觉目标检测方法，属于自动驾驶技术领域。本发明主要包括以下五个步骤：1.基于图像的基础的纯视觉三维目标检测模型训练；2.基于激光雷达点云的三维目标检测模型训练；3.设计掩码自动编解码器实现伪点云特征生成；4.图像特征和伪点云特征自适应融合；5.微调获得基于伪特征融合的纯视觉目标检测模型。基于本发明所提出的预训练方案，只需要在模型训练过程中提供相对应的激光雷达点云数据，推理时仅需要相机图像作为输入，就可以生成高质量的伪点云特征，通过图像特征‑伪点云特征的跨模态特征融合，在原本纯视觉模型的基础上实现性能的提升。