-
公开(公告)号:CN117291952B
公开(公告)日:2024-05-17
申请号:CN202311421363.8
申请日:2023-10-31
Applicant: 中国矿业大学(北京)
IPC: G06T7/246 , G06N3/0442 , G06N3/08
Abstract: 本申请提供了一种基于速度预测和图像重建的多目标跟踪方法及装置,涉及智能驾驶技术领域,所述方法包括:利用的第一Tracker网络对当前帧和当前帧之前的连续多帧进行处理,得到第一目标特征图以及当前帧的目标预测框和分割掩膜;利用的LSTM网络对第二目标特征图进行处理,得到当前帧的目标速度;利用的条件自变分编码器对当前帧、第一目标特征图以及目标速度进行处理,得到下一帧的预测图像;利用的卷积神经网络对第一目标特征图和下一帧的预测图像进行处理,得到融合后的特征图;利用的第二Tracker网络对融合后的特征图进行处理,得到下一帧的目标预测框和分割掩膜。本申请解决了多目标跟踪任务中行人与车辆遮挡以及位移过大导致的跟踪精度下降的问题。
-
公开(公告)号:CN118837850A
公开(公告)日:2024-10-25
申请号:CN202410792542.0
申请日:2024-06-19
Applicant: 中国矿业大学(北京)
IPC: G01S7/48 , G01S7/487 , G01S7/493 , G01S17/58 , G06V20/56 , G06T7/20 , G06V10/82 , G06V10/52 , G06N3/0499
Abstract: 本发明公开了一种露天矿区的车载激光雷达点云场景流估计方法及系统,涉及矿用卡车自主行驶技术,所述方法包括:利用车载激光雷达传感器捕获露天矿区环境当前时刻与下一时刻的三维点云集合;根据所述当前时刻与下一时刻的三维点云集合中的高度信息对道路点进行滤除,减少集合点数,得到滤除道路后的当前时刻与下一时刻三维点云集合;对所述滤除道路后的当前时刻三维点云集合,采用最近邻聚类算法,得到滤除道路后的当前时刻三维点云逐点邻域索引;通过所述滤除道路后的当前时刻三维点云逐点邻域索引,构建滤除道路后的当前时刻逐点邻域簇特征,利用多层感知器提取所述滤除道路后的当前时刻三维点云逐点邻域簇特征,并采用对称操作与加权操作聚合所述滤除道路后的当前时刻三维点云逐点邻域簇特征,得到滤除道路后的当前时刻逐点场景流初始值;将所述滤除道路后的当前时刻逐点场景流初始值与所述滤除道路后的当前时刻三维点云逐点相加,得到滤除道路后的下一时刻三维点云集合的预测值;通过比较所述滤除道路后的下一时刻三维点云集合的预测值与所述滤除道路后的下一时刻三维点云集合,得到当前时刻的逐点场景流估计值。本发明提供了基于先验知识的场景流估计方法,仅依赖于相邻帧,可以解决露天矿区场景流的估计问题,实现了对矿用卡车,行人与当前车辆等物体的速度测量。
-
公开(公告)号:CN117291952A
公开(公告)日:2023-12-26
申请号:CN202311421363.8
申请日:2023-10-31
Applicant: 中国矿业大学(北京)
IPC: G06T7/246 , G06N3/0442 , G06N3/08
Abstract: 本申请提供了一种基于速度预测和图像重建的多目标跟踪方法及装置,涉及智能驾驶技术领域,所述方法包括:利用的第一Tracker网络对当前帧和当前帧之前的连续多帧进行处理,得到第一目标特征图以及当前帧的目标预测框和分割掩膜;利用的LSTM网络对第二目标特征图进行处理,得到当前帧的目标速度;利用的条件自变分编码器对当前帧、第一目标特征图以及目标速度进行处理,得到下一帧的预测图像;利用的卷积神经网络对第一目标特征图和下一帧的预测图像进行处理,得到融合后的特征图;利用的第二Tracker网络对融合后的特征图进行处理,得到下一帧的目标预测框和分割掩膜。本申请解决了多目标跟踪任务中行人与车辆遮挡以及位移过大导致的跟踪精度下降的问题。
-
公开(公告)号:CN118840517A
公开(公告)日:2024-10-25
申请号:CN202410938359.7
申请日:2024-07-13
Applicant: 中国矿业大学(北京)
Abstract: 该发明涉及计算机视觉和图像处理领域,专注于结构化场景中多平面和直线的提取方法及系统。适用领域包括自动驾驶、机器人导航和3D重建,需要从三维点云数据中提取线面几何结构。所解决的技术问题是当前方法在提取多平面和直线时存在计算效率低、对噪声敏感及并行处理方面性能不佳等问题。提出一种结构化场景并行多平面‑直线并行提取方法及系统,该发明通过深度相机获取深度图像并转换为三维点云,将点云分割为矩形区域,并基于深度值自适应选择搜索范围,采用非线性模型调整搜索范围以适应不同距离情况,在四个方向上搜索符合条件的像素,进而将局部表面片段转换为数学模型以提取局部平面,并提取局部直线片段,可提高特征提取的速度和抗噪能力。
-
公开(公告)号:CN115588051A
公开(公告)日:2023-01-10
申请号:CN202211194643.5
申请日:2022-09-29
Applicant: 中国矿业大学(北京)
Abstract: 本发明提出了一种矿石加工环节的激光雷达和相机空间位置自动标定方法,该方法包括:对相机传感器采集的包括矿石和皮带机的图像进行图像增强处理;利用图像的梯度幅值变化提取图像线特征数据;对激光雷达采集的点云数据利用点云数据的距离不连续性提取边界直线特征,经过滤得到更精确点云直线特征,并转换为深度图;对点云数据进行特征补全并分配特征权重;对深度图进行加权求和后投影到相机传感器的图像坐标系上,对当前帧的全部数据点灰度值及全部深度图数据点的最大灰度值分别求和,由两者比值得到投影得分;与设定阈值比较,分别使用不同的步长对深度图的灰度值进行迭代优化,直至达到精度要求,进行置信度评估得到标定结果。
-
公开(公告)号:CN115588051B
公开(公告)日:2023-06-13
申请号:CN202211194643.5
申请日:2022-09-29
Applicant: 中国矿业大学(北京)
Abstract: 本发明提出了一种矿石加工环节的激光雷达和相机空间位置自动标定方法,该方法包括:对相机传感器采集的包括矿石和皮带机的图像进行图像增强处理;利用图像的梯度幅值变化提取图像线特征数据;对激光雷达采集的点云数据利用点云数据的距离不连续性提取边界直线特征,经过滤得到更精确点云直线特征,并转换为深度图;对点云数据进行特征补全并分配特征权重;对深度图进行加权求和后投影到相机传感器的图像坐标系上,对当前帧的全部数据点灰度值及全部深度图数据点的最大灰度值分别求和,由两者比值得到投影得分;与设定阈值比较,分别使用不同的步长对深度图的灰度值进行迭代优化,直至达到精度要求,进行置信度评估得到标定结果。
-
公开(公告)号:CN113569803A
公开(公告)日:2021-10-29
申请号:CN202110921918.X
申请日:2021-08-12
Applicant: 中国矿业大学(北京)
Abstract: 本发明公开了一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统,首先对车道原始激光雷达点云数据进行预处理,获得与RGB图像对齐的三通道伪点云数据;将得到的车道三通道伪点云数据与对应的RGB图像数据进行多模态数据融合;在多模态数据融合后的卷积过程中,用多尺度卷积再次计算融合特征通道,以校正融合后的特征通道权重;将校正后的车道多模态融合数据输入预先建立和训练好的车道目标检测模型,对车道目标进行预测,以获得车道目标检测结果。上述方法能提升不同模态数据优势特点的利用率,有效提高目标检测模型的精度,具有良好的实时性,在不同的目标检测模型上均可适用。
-
-
-
-
-
-