公开(公告)号：CN117152628A

公开(公告)日：2023-12-01

申请号：CN202311057880.1

申请日：2023-08-22

Applicant: 东南大学

Inventor： 耿可可 ,  李尚杰 ,  孙野

IPC: G06V20/13 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/09 ,  G06V10/766

Abstract: 本发明公开了一种基于多视角特征的三维目标检测方法，至少包括距离视角特征提取模块、逐点视角特征提取模块和鸟瞰视角特征提取模块，距离视角特征提取模块包括一条自底向上的传播路径、一条自顶向下的传播路径以及若干横向连接，用于从距离图中提取染色点云的特征；逐点视角特征提取模块包括四个三维卷积块，对特征再次进行特征提取，并从逐点视角进行降采样；鸟瞰视角特征提取模块输出两个尺寸为H/8×W/8×C的特征图，并按通道拼接，最终完成特征提取。本发明方法通过相机图像和激光雷达点云作为数据输入，以点云染色的形式完成数据级信息融合，在距离视角、逐点视角及鸟瞰视角进行特征提取，最终在基于鸟瞰视角中设置的锚框完成三维目标检测。

公开(公告)号：CN117237888A

公开(公告)日：2023-12-15

申请号：CN202311052534.4

申请日：2023-08-21

Applicant: 东南大学

Inventor： 孙野 ,  耿可可 ,  李尚杰

IPC: G06V20/56 ,  G06V10/25 ,  G06T5/30 ,  G06T7/13

Abstract: 本发明公开了一种基于关键点预测的远距离三维目标检测方法，以相机图像和激光雷达点云作为多模态的数据输入，首先将激光雷达点云投影至相机图像并借助深度补全算法产生稠密深度图，然后将相机图像输入主干网络和颈部网络进行特征提取，最终由检测头根据生成的特征图以及稠密深度图预测多个子任务，从而完成三维目标检测过程。该方法通过将相机图像输入特征提取网络，在检测头中直接预测目标的关键点以及对应的二维、三维参数。为了提高对目标的定位精度，将激光雷达点云投影至相机图像平面产生稠密深度图，从稠密深度图中选取关键点处的深度作为参考，从而提高参数估计的准确性。