公开(公告)号：CN115690337A

公开(公告)日：2023-02-03

申请号：CN202110849234.3

申请日：2021-07-27

Applicant: 清华大学 ,  丰田自动车株式会社

Inventor： 张新钰 ,  朱世凡 ,  郭世纯 ,  卢一倩 ,  吴新刚

IPC: G06T17/05 ,  G06T7/246 ,  G06T7/73

Abstract: 本公开实施例提供了一种半动态地图的构建方法、定位方法、存储介质以及终端设备，所述半动态地图的构建方法包括：S1，基于第一环境构建第一静态地图；S3，确定所述第一静态地图中的半动态物体；S5，确定所述第一静态地图中的半动态物体的位置坐标；S7，根据所述第一静态地图中的半动态物体的位置坐标，生成第一半动态地图。所述定位方法包括：将第二环境下的半动态物体与第一环境下的半动态物体进行位置比较并将第二环境下的静态物体与第一环境下的静态物体进行位置比较，进而进行定位。所述半动态地图的构建方法和定位方法通过降低环境中的半动态物体对定位的影响，从而提升无人驾驶设备在第二环境下的定位精确度。

公开(公告)号：CN113065590A

公开(公告)日：2021-07-02

申请号：CN202110326528.8

申请日：2021-03-26

Applicant: 清华大学

Inventor： 张新钰 ,  李骏 ,  王力 ,  兰天蔚 ,  李志伟 ,  卢一倩

IPC: G06K9/62 ,  G06K9/00 ,  G06T7/80 ,  G06T7/38 ,  G06T7/11 ,  G06T5/50 ,  G06T5/00 ,  G06N3/08 ,  G06N3/04 ,  G01S17/89

Abstract: 本发明公开了一种基于注意力机制的视觉与激光雷达多模态数据融合方法，所述方法包括：同时采集自动驾驶车辆的激光雷达点云数据以及相机RGB图像；对激光雷达点云数据以及相机RGB图像进行预处理；通过球坐标变换将点云数据转换成距离图像；将距离图像和RGB图像输入预先建立和训练好的距离图像融合模型，输出最终的融合特征图；所述距离图像融合模型采用自注意机制对距离图像和RGB图像进行融合；将最终的融合特征图与带有坐标信息的距离图像连接到一起，通过空间坐标转换从二维图像还原到空间点云的表示形式。本发明的方法使用自注意机制有效地融合了多源信息，使两种数据优势互补，提高了3D目标检测算法的准确性。

公开(公告)号：CN112966777A

公开(公告)日：2021-06-15

申请号：CN202110328124.2

申请日：2021-03-26

Applicant: 清华大学

Inventor： 张新钰 ,  李骏 ,  李志伟 ,  刘宇红 ,  王力 ,  卢一倩

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于人机交互的半自动标注方法及系统，所述方法包括：将待标注的RGB图像与产生的第一高斯热图进行融合；对融合图像进行预处理；将预处理后的融合图像输入预先建立和训练好的半自动标注模型，对待标注RGB图像标注多个预测框；当有预测框不满足要求，则通过产生第二高斯热图对不满足要求的预测框进行修正。本发明的方法将高斯热图作为先验信息来对目标进行检测，进而达到半自动标注的预期效果；可以摆脱人工标注费时费力的弊端，并提高标注的精度。

公开(公告)号：CN112966777B

公开(公告)日：2021-11-30

申请号：CN202110328124.2

申请日：2021-03-26

Applicant: 清华大学

Inventor： 张新钰 ,  李骏 ,  李志伟 ,  刘宇红 ,  王力 ,  卢一倩

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于人机交互的半自动标注方法及系统，所述方法包括：将待标注的RGB图像与产生的第一高斯热图进行融合；对融合图像进行预处理；将预处理后的融合图像输入预先建立和训练好的半自动标注模型，对待标注RGB图像标注多个预测框；当有预测框不满足要求，则通过产生第二高斯热图对不满足要求的预测框进行修正。本发明的方法将高斯热图作为先验信息来对目标进行检测，进而达到半自动标注的预期效果；可以摆脱人工标注费时费力的弊端，并提高标注的精度。

公开(公告)号：CN113065590B

公开(公告)日：2021-10-08

申请号：CN202110326528.8

申请日：2021-03-26

Applicant: 清华大学

Inventor： 张新钰 ,  李骏 ,  王力 ,  兰天蔚 ,  李志伟 ,  卢一倩

IPC: G06K9/62 ,  G06K9/00 ,  G06T7/80 ,  G06T7/38 ,  G06T7/11 ,  G06T5/50 ,  G06T5/00 ,  G06N3/08 ,  G06N3/04 ,  G01S17/89

Abstract: 本发明公开了一种基于注意力机制的视觉与激光雷达多模态数据融合方法，所述方法包括：同时采集自动驾驶车辆的激光雷达点云数据以及相机RGB图像；对激光雷达点云数据以及相机RGB图像进行预处理；通过球坐标变换将点云数据转换成距离图像；将距离图像和RGB图像输入预先建立和训练好的距离图像融合模型，输出最终的融合特征图；所述距离图像融合模型采用自注意机制对距离图像和RGB图像进行融合；将最终的融合特征图与带有坐标信息的距离图像连接到一起，通过空间坐标转换从二维图像还原到空间点云的表示形式。本发明的方法使用自注意机制有效地融合了多源信息，使两种数据优势互补，提高了3D目标检测算法的准确性。