一种基于彩色相机与红外热成像仪特征融合的目标检测方法

    公开(公告)号:CN111382683B

    公开(公告)日:2023-05-23

    申请号:CN202010135485.0

    申请日:2020-03-02

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于彩色相机与红外热成像仪特征融合的目标检测方法,包括以下步骤:a、通过彩色相机获得彩色数据集,通过红外热成像仪获得热红外数据集;b、将双模态数据集同时输入到双模态的YOLOv3神经网络算法中,提取目标的颜色特征与温度特征;在主干网络的某一层通过融合函数与1×1卷积块将两个模态的特征融合,然后选取融合后的特征图继续进行主干网络的特征提取,得到融合后的提取特征图;c、融合后的提取特征图输入到后续的卷积层中进行目标的分类,输出训练完成的双模态神经网络的算法模型。本发明融合温度与颜色信息,在双模态神经主干网络算法进行融合,输入分类层中进行目标的预测,增加目标的多种特征信息,提高目标识别准确性。

    一种基于激光雷达、图像前融合的目标检测方法

    公开(公告)号:CN110363820A

    公开(公告)日:2019-10-22

    申请号:CN201910575104.8

    申请日:2019-06-28

    Applicant: 东南大学

    Abstract: 本发明涉及一种基于激光雷达、图像前融合的目标检测方法,通过激光雷达和摄像头联合校准,得到摄像头视角的激光雷达点云数据,然后在将数据输入到神经网络之前,首先对激光雷达数据集进行球面投影,从而到一个稠密的、二维的数据,之后将激光雷达投影得到的图像和摄像头图像分别作为网络的两个输入,分别学习彩色和三维特征,最后通过一个1×1的卷积块,将两个模态的特征融合,实现基于雷达和视觉前融合的目标检测;该方法不同于传统视觉和雷达分别检测,最后采取加权的后融合方式,采用激光雷达和图像两个对应的输入,分别学习特征,最后融合,可以提高目标识别的准确性,同时获取目标的类别以及三维信息。

    一种基于ROS的激光雷达、摄像头的融合标定系统及标定方法

    公开(公告)号:CN110390695B

    公开(公告)日:2023-05-23

    申请号:CN201910575101.4

    申请日:2019-06-28

    Applicant: 东南大学

    Abstract: 本发明涉及一种基于ROS的激光雷达、摄像头的融合标定系统及标定方法,包括雷达标定模块,其用于获取激光雷达的外部参数,即激光雷达的雷达坐标系到世界坐标系的变换关系;相机标定模块,用于获取摄像头的内部参数;融合标定模块,用于接收激光雷达的外部参数以及相机的内部参数,求解相机的外部参数,即求解出世界坐标系到相机坐标系的变换关系;雷达标定模块、相机标定模块以及融合标定模块之间基于ROS平台实现数据的传输;雷达标定模块包括激光雷达,还包括桩桶以及两块标定板,前述的相机标定模块包括摄像头以及一块标定板;本发明实现激光雷达和摄像头数据融合的空间同步方法,解决了现有单一传感器感知存在的感知维度不足、信息缺乏等缺陷。

    一种基于激光雷达、图像前融合的目标检测方法

    公开(公告)号:CN110363820B

    公开(公告)日:2023-05-16

    申请号:CN201910575104.8

    申请日:2019-06-28

    Applicant: 东南大学

    Abstract: 本发明涉及一种基于激光雷达、图像前融合的目标检测方法,通过激光雷达和摄像头联合校准,得到摄像头视角的激光雷达点云数据,然后在将数据输入到神经网络之前,首先对激光雷达数据集进行球面投影,从而到一个稠密的、二维的数据,之后将激光雷达投影得到的图像和摄像头图像分别作为网络的两个输入,分别学习彩色和三维特征,最后通过一个1×1的卷积块,将两个模态的特征融合,实现基于雷达和视觉前融合的目标检测;该方法不同于传统视觉和雷达分别检测,最后采取加权的后融合方式,采用激光雷达和图像两个对应的输入,分别学习特征,最后融合,可以提高目标识别的准确性,同时获取目标的类别以及三维信息。

    一种基于彩色相机与红外热成像仪特征融合的目标检测方法

    公开(公告)号:CN111382683A

    公开(公告)日:2020-07-07

    申请号:CN202010135485.0

    申请日:2020-03-02

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于彩色相机与红外热成像仪特征融合的目标检测方法,包括以下步骤:a、通过彩色相机获得彩色数据集,通过红外热成像仪获得热红外数据集;b、将双模态数据集同时输入到双模态的YOLOv3神经网络算法中,提取目标的颜色特征与温度特征;在主干网络的某一层通过融合函数与1×1卷积块将两个模态的特征融合,然后选取融合后的特征图继续进行主干网络的特征提取,得到融合后的提取特征图;c、融合后的提取特征图输入到后续的卷积层中进行目标的分类,输出训练完成的双模态神经网络的算法模型。本发明融合温度与颜色信息,在双模态神经主干网络算法进行融合,输入分类层中进行目标的预测,增加目标的多种特征信息,提高目标识别准确性。

    一种基于ROS的激光雷达、摄像头的融合标定系统及标定方法

    公开(公告)号:CN110390695A

    公开(公告)日:2019-10-29

    申请号:CN201910575101.4

    申请日:2019-06-28

    Applicant: 东南大学

    Abstract: 本发明涉及一种基于ROS的激光雷达、摄像头的融合标定系统及标定方法,包括雷达标定模块,其用于获取激光雷达的外部参数,即激光雷达的雷达坐标系到世界坐标系的变换关系;相机标定模块,用于获取摄像头的内部参数;融合标定模块,用于接收激光雷达的外部参数以及相机的内部参数,求解相机的外部参数,即求解出世界坐标系到相机坐标系的变换关系;雷达标定模块、相机标定模块以及融合标定模块之间基于ROS平台实现数据的传输;雷达标定模块包括激光雷达,还包括桩桶以及两块标定板,前述的相机标定模块包括摄像头以及一块标定板;本发明实现激光雷达和摄像头数据融合的空间同步方法,解决了现有单一传感器感知存在的感知维度不足、信息缺乏等缺陷。

Patent Agency Ranking