-
公开(公告)号:CN114550163A
公开(公告)日:2022-05-27
申请号:CN202210179044.X
申请日:2022-02-25
Applicant: 清华大学
Abstract: 本发明涉及自动驾驶中三维目标检测领域,尤其涉及基于可变形注意力机制的成像毫米波三维目标检测方法,所述方法包括:采集毫米波激光雷达点云数据,输入预先建立和训练好的毫米波特征增强网络,输出三维目标检测结果;所述毫米波特征增强网络,基于可变形注意力机制,加强特征表达能力。本发明的方法利用4D毫米波的优点,同时增强点云特征表达,得到更好的三维目标检测结果;采用本发明的方法能够适应恶劣天气环境,并且成本可控。
-
公开(公告)号:CN113610141B
公开(公告)日:2022-03-11
申请号:CN202110880427.5
申请日:2021-08-02
Applicant: 清华大学
Abstract: 本发明公开了自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统,所述方法包括:利用预处理后的多个车载传感器的数据,训练得到多传感器融合感知模型;从多个车载传感器中选取一个待攻击传感器;在选择的待攻击传感器采集的数据上生成添加对抗扰动噪声的掩码,由此生成欺诈数据;将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型,计算欺诈数据生成的损失函数,并进行反向传播;结合损失函数梯度对欺诈数据进行迭代更新,得到最终的欺诈数据;将最终的欺诈数据与其他传感器正常采集到的数据输入到多传感器融合感知模型中,得到多传感器融合感知模型的输出精度,根据输出精度获取多传感器融合感知模型的鲁棒性测试结果。
-
公开(公告)号:CN112572470B
公开(公告)日:2022-01-28
申请号:CN202011415377.5
申请日:2020-12-07
Abstract: 本发明提供了一种施工机械设备自动驾驶方法及装置。所述方法包括:根据施工机械设备的设备类型及工作目标,获取对应的自动驾驶模型;利用语义三维重建技术,采集所述施工机械设备执行所述工作目标时的实时施工环境信息;将所述实时施工环境信息及所述工作目标输入至所述自动驾驶模型,得到对应的操作指令,所述施工机械设备根据所述操作指令进行自动驾驶,以完成所述工作目标。本发明通过语义三维重建技术,采集施工机械设备的实时施工环境信息,结合利用工作目标及设备类型选取训练好的自动驾驶模型,实现施工机械设备的自动驾驶,有效降低了建筑施工过程中对人工的依赖,实现了在极端环境下的施工机械设备操作。
-
公开(公告)号:CN113111974B
公开(公告)日:2021-12-14
申请号:CN202110506552.X
申请日:2021-05-10
Applicant: 清华大学
Abstract: 本发明涉及自动驾驶技术领域,尤其涉及基于深度典型相关分析的视觉‑激光雷达融合方法及系统。所述方法包括:同步采集路面的RGB图像和点云数据;对RGB图像进行特征提取得到RGB特征;对点云数据依次进行坐标系转换和栅格化处理,然后进行特征提取,得到点云特征;将点云特征和RGB特征同时输入预先建立和训练好的融合模型,输出特征增强的融合点云特征,所述融合模型使用相关分析结合深度神经网络将RGB特征融合到点云特征;将融合点云特征输入预先建立好的目标检测网络,实现目标检测。本发明创新地使用深度典型相关分析方法利用相似度计算矩阵来融合点云和图像两种不同模态特征,使其在必要速度妥协的情况下,提升精度。
-
公开(公告)号:CN113610141A
公开(公告)日:2021-11-05
申请号:CN202110880427.5
申请日:2021-08-02
Applicant: 清华大学
Abstract: 本发明公开了自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统,所述方法包括:利用预处理后的多个车载传感器的数据,训练得到多传感器融合感知模型;从多个车载传感器中选取一个待攻击传感器;在选择的待攻击传感器采集的数据上生成添加对抗扰动噪声的掩码,由此生成欺诈数据;将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型,计算欺诈数据生成的损失函数,并进行反向传播;结合损失函数梯度对欺诈数据进行迭代更新,得到最终的欺诈数据;将最终的欺诈数据与其他传感器正常采集到的数据输入到多传感器融合感知模型中,得到多传感器融合感知模型的输出精度,根据输出精度获取多传感器融合感知模型的鲁棒性测试结果。
-
公开(公告)号:CN113569774A
公开(公告)日:2021-10-29
申请号:CN202110879932.8
申请日:2021-08-02
Applicant: 清华大学
Abstract: 本发明公开了一种基于持续学习的语义分割方法及系统,所述方法包括:通过车载单目相机实时采集路面的RGB图像;基于RGB图像识别当前场景的类型,基于场景的类型,获取其对应的最优骨架模型;将实时采集到的RGB图像输入所述最优骨架模型,输出目标检测结果。本发明的方法提高了现有目标检测的骨架模型在复杂多场景下的平均性能。
-
公开(公告)号:CN112966777A
公开(公告)日:2021-06-15
申请号:CN202110328124.2
申请日:2021-03-26
Applicant: 清华大学
Abstract: 本发明公开了一种基于人机交互的半自动标注方法及系统,所述方法包括:将待标注的RGB图像与产生的第一高斯热图进行融合;对融合图像进行预处理;将预处理后的融合图像输入预先建立和训练好的半自动标注模型,对待标注RGB图像标注多个预测框;当有预测框不满足要求,则通过产生第二高斯热图对不满足要求的预测框进行修正。本发明的方法将高斯热图作为先验信息来对目标进行检测,进而达到半自动标注的预期效果;可以摆脱人工标注费时费力的弊端,并提高标注的精度。
-
公开(公告)号:CN112572470A
公开(公告)日:2021-03-30
申请号:CN202011415377.5
申请日:2020-12-07
Abstract: 本发明提供了一种施工机械设备自动驾驶方法及装置。所述方法包括:根据施工机械设备的设备类型及工作目标,获取对应的自动驾驶模型;利用语义三维重建技术,采集所述施工机械设备执行所述工作目标时的实时施工环境信息;将所述实时施工环境信息及所述工作目标输入至所述自动驾驶模型,得到对应的操作指令,所述施工机械设备根据所述操作指令进行自动驾驶,以完成所述工作目标。本发明通过语义三维重建技术,采集施工机械设备的实时施工环境信息,结合利用工作目标及设备类型选取训练好的自动驾驶模型,实现施工机械设备的自动驾驶,有效降低了建筑施工过程中对人工的依赖,实现了在极端环境下的施工机械设备操作。
-
公开(公告)号:CN111291676B
公开(公告)日:2020-12-11
申请号:CN202010081032.4
申请日:2020-02-05
Applicant: 清华大学
Abstract: 本发明公开一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片,涉及检测技术领域,为解决准确、有效的检测车道线的问题。所述基于激光雷达点云和相机图像融合的车道线检测方法,包括:接收同一路面的路面点云信息和路面图像信息。根据路面点云信息和路面图像信息,确定车道融合图像。根据路面点云信息、路面图像信息和车道融合图像,确定路面融合图像。从路面融合图像检测车道线。所述基于激光雷达点云和相机图像融合的车道线检测装置用于执行基于激光雷达点云和相机图像融合的车道线检测方法。本发明提供的基于激光雷达点云和相机图像融合的车道线检测装置和芯片用于车道线检测。
-
公开(公告)号:CN111860425A
公开(公告)日:2020-10-30
申请号:CN202010752038.X
申请日:2020-07-30
Applicant: 清华大学
Abstract: 本发明公开了一种深度多模态跨层交叉融合方法、终端设备及存储介质,所述方法包括:获取包含车道线的RGB图像和点云数据,并进行预处理;将预处理后的RGB图像和点云数据输入预先构建和训练好的语义分割模型,输出图像分割结果;所述语义分割模型用于实现RGB图像和点云数据的跨层交叉融合。本发明的方法将当前模态的当前层的特征与另一模态的后续所有层特征进行融合,既能将相似的或者相近的特征进行融合,也能将不相似的或者不相近的特征进行融合,对特征进行充分全面的融合;所有融合连接通过一个可学习的参数进行控制,使得融合更加灵活和智能,不用预设和固定融合方式;能够提高图像分割的准确度。
-
-
-
-
-
-
-
-
-