一种目标检测模型的训练方法、装置及电子设备

    公开(公告)号:CN118918418B

    公开(公告)日:2024-12-31

    申请号:CN202411407566.6

    申请日:2024-10-09

    Abstract: 本申请实施例提供了一种目标检测模型的训练方法、装置及电子设备,涉及计算机技术领域,包括:获取多个样本数据集;将各样本数据集输入至待训练的目标检测模型中,利用目标检测模型的三维骨干网络提取点云数据的点云特征,利用目标检测模型的图像骨干网络提取图像数据的图像特征;针对每一样本数据集,对点云特征和图像特征进行特征融合,得到样本数据集的待检测特征;对各待检测特征进行目标检测,得到各样本数据集各自的目标检测结果;根据各样本数据集各自的感兴趣区域,对比各目标检测结果与各样本数据集的真值,确定目标检测模型的模型损失;基于模型损失对目标检测模型进行调整。本申请实施例提高了目标检测模型在不同数据集的泛化能力。

    一种多模态模型预训练方法、装置、设备以及存储介质

    公开(公告)号:CN118823332B

    公开(公告)日:2024-12-03

    申请号:CN202411318858.2

    申请日:2024-09-20

    Inventor: 裴宇 张经纬

    Abstract: 本申请实施例提供了一种多模态模型预训练方法、装置、设备以及存储介质,涉及深度学习技术领域。具体实现方案为:对样本点云和样本图像分别进行掩码处理得到第一掩码点云和第一掩码图像;对第一掩码点云进行特征提取得到第一BEV特征,对第一掩码图像进行特征提取得到第一图像特征;将第一图像特征转换到BEV视角下后和第一BEV特征进行特征融合得到第二BEV特征;分别对第二BEV特征以及第二图像特征进行解码,得到第一预测结果、第二预测结果和第三预测结果;基于第一预测结果、第二预测结果和第三预测结果分别与对应的真值之间的差异,调整模型参数。可见,通过本方案,能够提高训练得到的多模态模型中的编码器处理下游任务的处理效果。

    标注方法、装置、设备及存储介质

    公开(公告)号:CN119152505B

    公开(公告)日:2025-03-07

    申请号:CN202411631394.0

    申请日:2024-11-14

    Inventor: 张经纬 许昀璐

    Abstract: 本申请提供一种标注方法、装置、设备及存储介质。在一个示例中,该方法包括:获取目标相机采集的N组图像,以及,激光雷达采集的N帧激光点云;对N组图像以及所述N帧激光点云进行特征融合,并依据融合特征对所述N帧激光点云中的激光点进行速度预测;依据N帧激光点云中各激光点的速度,以及,各帧激光点云的采集时间,将N帧激光点云中的各激光点映射到指定时刻的一帧激光点云中;对指定时刻的激光点云进行标注,得到所述指定时刻的激光点云的标注结果;依据N帧激光点云中各激光点与所述指定时刻的激光点云中各激光点之间的映射关系,将指定时刻的激光点云的标注结果映射回所述N帧激光点云。该方法可以提高标注效率。

    一种目标检测方法、装置及电子设备

    公开(公告)号:CN118918579A

    公开(公告)日:2024-11-08

    申请号:CN202411409221.4

    申请日:2024-10-10

    Abstract: 本申请实施例提供了一种目标检测方法、装置及电子设备,获取第t‑1帧毫米波点云数据的第一目标点云特征,以及第t帧毫米波点云数据;将第t帧毫米波点云数据进行编码,得到第一编码点云特征;将第一编码点云特征及第一目标点云特征进行解码,得到第一解码点云特征;获取历史帧目标查询特征,按照时序将第一解码点云特征与历史帧目标查询特征进行融合得到目标查询特征序列;将目标查询特征序列进行特征增强,得到第一目标查询特征;将第一目标查询特征及目标查询特征序列进行目标预测及运动轨迹预测,得到目标检测结果及目标轨迹预测结果。目标检测过程与目标轨迹预测过程之间存在关联,提高了目标检测和追踪的效果。

    一种目标检测模型的训练方法、装置及电子设备

    公开(公告)号:CN118918418A

    公开(公告)日:2024-11-08

    申请号:CN202411407566.6

    申请日:2024-10-09

    Abstract: 本申请实施例提供了一种目标检测模型的训练方法、装置及电子设备,涉及计算机技术领域,包括:获取多个样本数据集;将各样本数据集输入至待训练的目标检测模型中,利用目标检测模型的三维骨干网络提取点云数据的点云特征,利用目标检测模型的图像骨干网络提取图像数据的图像特征;针对每一样本数据集,对点云特征和图像特征进行特征融合,得到样本数据集的待检测特征;对各待检测特征进行目标检测,得到各样本数据集各自的目标检测结果;根据各样本数据集各自的感兴趣区域,对比各目标检测结果与各样本数据集的真值,确定目标检测模型的模型损失;基于模型损失对目标检测模型进行调整。本申请实施例提高了目标检测模型在不同数据集的泛化能力。

    标注方法、装置、设备及存储介质

    公开(公告)号:CN119152505A

    公开(公告)日:2024-12-17

    申请号:CN202411631394.0

    申请日:2024-11-14

    Inventor: 张经纬 许昀璐

    Abstract: 本申请提供一种标注方法、装置、设备及存储介质。在一个示例中,该方法包括:获取目标相机采集的N组图像,以及,激光雷达采集的N帧激光点云;对N组图像以及所述N帧激光点云进行特征融合,并依据融合特征对所述N帧激光点云中的激光点进行速度预测;依据N帧激光点云中各激光点的速度,以及,各帧激光点云的采集时间,将N帧激光点云中的各激光点映射到指定时刻的一帧激光点云中;对指定时刻的激光点云进行标注,得到所述指定时刻的激光点云的标注结果;依据N帧激光点云中各激光点与所述指定时刻的激光点云中各激光点之间的映射关系,将指定时刻的激光点云的标注结果映射回所述N帧激光点云。该方法可以提高标注效率。

    一种目标检测方法、装置、设备及系统

    公开(公告)号:CN111856445B

    公开(公告)日:2023-07-04

    申请号:CN201910289114.5

    申请日:2019-04-11

    Abstract: 本发明实施例提供了一种目标检测方法、装置、设备及系统,方法包括:将可见光图像中检测出的目标与基于雷达数据检测出的目标进行匹配,匹配成功后再对两种目标进行特征提取及特征融合,基于融合后的特征判断检测出的目标是否为误检目标;可见,本方案中,结合可见光图像及雷达数据两方面进行目标检测,两种数据(相比于一种数据)携带的特征更丰富,利用从这两种数据中提取出的特征进行目标检测的准确度更高,而且基于可见光图像及雷达数据识别误检目标,降低了目标误检率,进一步提高了检测准确度。

    数据融合方法、装置、计算机设备及存储介质

    公开(公告)号:CN119942276A

    公开(公告)日:2025-05-06

    申请号:CN202311629336.X

    申请日:2023-11-30

    Abstract: 本申请公开了数据融合方法,包括:获取待测区域内采集的图像和雷达点云数据;对图像数据进行特征提取,将获取的特征图映射至预设的三维坐标系下生成第一视觉点云特征,将雷达点云数据映射至所述三维坐标系下生成雷达点云特征,将第一视觉点云特征与雷达点云特征融合生成点云融合特征;对点云融合特征进行特征提取,生成当前时刻的鸟瞰图特征;基于多个预设的速度参考向量,将当前时刻的鸟瞰图特征与多个历史时刻的鸟瞰图特征进行特征聚合,得到速度分离的鸟瞰图特征;将速度分离的鸟瞰图特征与当前时刻的鸟瞰图特征进行特征融合,得到时序融合特征,基于时序融合特征进行目标检测。本申请能够有效缓解运动目标的拖影问题,提高目标检测精度。

    一种目标检测方法、装置及电子设备

    公开(公告)号:CN118918579B

    公开(公告)日:2024-12-31

    申请号:CN202411409221.4

    申请日:2024-10-10

    Abstract: 本申请实施例提供了一种目标检测方法、装置及电子设备,获取第t‑1帧毫米波点云数据的第一目标点云特征,以及第t帧毫米波点云数据;将第t帧毫米波点云数据进行编码,得到第一编码点云特征;将第一编码点云特征及第一目标点云特征进行解码,得到第一解码点云特征;获取历史帧目标查询特征,按照时序将第一解码点云特征与历史帧目标查询特征进行融合得到目标查询特征序列;将目标查询特征序列进行特征增强,得到第一目标查询特征;将第一目标查询特征及目标查询特征序列进行目标预测及运动轨迹预测,得到目标检测结果及目标轨迹预测结果。目标检测过程与目标轨迹预测过程之间存在关联,提高了目标检测和追踪的效果。

    一种基于激光雷达的3D检测方法、装置及电子设备

    公开(公告)号:CN118898817B

    公开(公告)日:2024-12-03

    申请号:CN202411404146.2

    申请日:2024-10-09

    Abstract: 本申请实施例提供了一种基于激光雷达的3D检测方法、装置及电子设备,该方法包括,获取目标帧;分别对各目标帧进行检测,得到各目标帧中存在的第一对象,并获取各第一对象的第一点云特征;分别将各目标帧中各第一对象的中心点的位姿转换为各第一对象对应的目标位姿,得到目标点云,并将各目标点云叠加至目标当前帧,得到目标融合帧;提取目标融合帧的俯视图特征,作为第一俯视图特征;按照第一对象在目标当前帧中所处位姿,将第一对象的第一点云特征投影至俯视图空间,得到第二俯视图特征;将第一俯视图特征和第二俯视图特征输入至第一对象检测模块,得到目标当前帧的对象检测结果。应用本申请实施例提供的技术方案,能够提高3D检测的准确性。

Patent Agency Ranking