仿生视觉多源信息智能感知无人平台

    公开(公告)号:CN115574816A

    公开(公告)日:2023-01-06

    申请号:CN202211481989.3

    申请日:2022-11-24

    Applicant: 东南大学

    Abstract: 本发明公开一种仿生视觉多源信息智能感知无人平台,属于计算机视觉和深度学习技术领域。该无人平台搭载了仿生偏振视觉/惯性/激光雷达组合导航模块、深度学习目标探测模块、自主避障模块;其中仿生偏振视觉/惯性/激光雷达组合导航模块用来对无人平台进行实时定位定向;深度学习目标探测模块,用来自仿生偏振视觉/惯性/激光雷达组合导航模块获得的周围环境的RGB图像,对无人平台周围的环境进行感知;自主避障模块,在无人平台行驶过程中,根据目标识别的物体判断周围是否有障碍物,并结合获得的载体导航定位信息进行自主避障。本发明提高无人平台在复杂环境下的隐蔽性与自主导航能力以及无人平台的目标探测以及自主避障能力。

    基于Transformer的特征级相机-激光雷达在线标定方法

    公开(公告)号:CN118229799A

    公开(公告)日:2024-06-21

    申请号:CN202410513954.6

    申请日:2024-04-26

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于Transformer的特征级相机‑激光雷达在线标定方法,首先利用手眼估计器对相机和激光雷达进行粗标定,通过估计的初始六自由度外参将激光雷达原始点云投影到图像上,得到粗标定后匹配的激光雷达点云与相机图像;再构建多约束Transformer深度网络模型并进行模型训练,输出预测后更精准的六自由度外参;所述网络模型包括Token金字塔模块、Transformer融合器模块、特征注入模块和多约束模块;将粗标定后匹配的激光雷达点云与相机图像输入到多约束Transformer深度网络中进行精标定,最后引入迭代优化策略,得到精确鲁棒的六自由度外参,进一步提高标定结果的精度和鲁棒性。

    基于目标检测和特征点速度约束的动态视觉SLAM方法

    公开(公告)号:CN115115672B

    公开(公告)日:2023-07-18

    申请号:CN202211037460.2

    申请日:2022-08-29

    Applicant: 东南大学

    Inventor: 程向红 刘丰宇

    Abstract: 本发明公开一种基于目标检测与特征点速度约束的动态视觉SLAM方法,属于计算机视觉和深度学习技术领域。该方法首先通过VOC数据集和真实数据集对YOLO_v5s模型进行训练;接着将RGB‑D相机采集到的图像输入到训练好的YOLO_v5s模型中得到潜在动态目标的检测框;然后通过ORB‑LK光流金字塔算法计算先验动态目标特征点的相对运动速度;根据目标在场景中的运动状态判断目标的真实动态性并剔除动态特征点;在后端优化中利用剩余静态特征点进行匹配与位姿估计,最终得到相机的最优运动轨迹。

    基于精细预积分和自适应视觉惯性权重的单目视觉惯性定位方法

    公开(公告)号:CN119860765A

    公开(公告)日:2025-04-22

    申请号:CN202411925325.0

    申请日:2024-12-25

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于精细预积分和自适应视觉惯性权重的单目视觉惯性定位方法,首先采用滑动窗口的方法,利用视差构建关键帧,对相邻关键帧之间的惯性测量单元的输出使用精细预积分处理;对视觉惯性里程计进行初始化,获得初始的传感器的外参、内参及里程计的尺度和速度信息;采用L2范数归一化各预积分量的加速度和角速度,将其作为自适应惯性优化权重对各精细预积分约束的协方差矩阵的分量加权;基于光流跟踪后特征匹配的质量,根据特征连续跟踪次数和前后灰度值变化,得到视觉权重,自适应地调整视觉重投影残差的信息矩阵的大小;最终采用滑动窗口和因子图对相机位姿进行优化迭代,使得基于马氏距离测量残差项最小化,得到最终定位结果。

    仿生视觉多源信息智能感知无人平台

    公开(公告)号:CN115574816B

    公开(公告)日:2023-03-14

    申请号:CN202211481989.3

    申请日:2022-11-24

    Applicant: 东南大学

    Abstract: 本发明公开一种仿生视觉多源信息智能感知无人平台,属于计算机视觉和深度学习技术领域。该无人平台搭载了仿生偏振视觉/惯性/激光雷达组合导航模块、深度学习目标探测模块、自主避障模块;其中仿生偏振视觉/惯性/激光雷达组合导航模块用来对无人平台进行实时定位定向;深度学习目标探测模块,用来自仿生偏振视觉/惯性/激光雷达组合导航模块获得的周围环境的RGB图像,对无人平台周围的环境进行感知;自主避障模块,在无人平台行驶过程中,根据目标识别的物体判断周围是否有障碍物,并结合获得的载体导航定位信息进行自主避障。本发明提高无人平台在复杂环境下的隐蔽性与自主导航能力以及无人平台的目标探测以及自主避障能力。

    基于置信因子的无人机地下空间多模态鲁棒定位方法

    公开(公告)号:CN119758352A

    公开(公告)日:2025-04-04

    申请号:CN202411810800.X

    申请日:2024-12-10

    Applicant: 东南大学

    Inventor: 程向红 刘丰宇

    Abstract: 本发明公开了一种基于置信因子的无人机地下空间多模态鲁棒定位方法,包括前端和后端两个阶段,在前端阶段中,对相机、激光雷达和I MU的测量数据进行预处理,提取点线特征进行自适应视觉/惯性/激光雷达初始化;在后端阶段中,构建I MU测量残差、激光雷达边缘‑平面残差、视觉点‑线残差和曼哈顿结构约束残差;设计自适应置信因子,通过视觉特征跟踪次数和激光雷达点云中参考特征与变换后特征的差异来评估相机和激光雷达的退化程度;根据各传感器的权重,构建渐近非凸性因子图优化函数,根据各传感器的退化程度权重实现位姿优化的动态调整,得到定位结果,提高地下空间无人机的定位精度和鲁棒性。

    基于目标检测和特征点速度约束的动态视觉SLAM方法

    公开(公告)号:CN115115672A

    公开(公告)日:2022-09-27

    申请号:CN202211037460.2

    申请日:2022-08-29

    Applicant: 东南大学

    Inventor: 程向红 刘丰宇

    Abstract: 本发明公开一种基于目标检测与特征点速度约束的动态视觉SLAM方法,属于计算机视觉和深度学习技术领域。该方法首先通过VOC数据集和真实数据集对YOLO_v5s模型进行训练;接着将RGB‑D相机采集到的图像输入到训练好的YOLO_v5s模型中得到潜在动态目标的检测框;然后通过ORB‑LK光流金字塔算法计算先验动态目标特征点的相对运动速度;根据目标在场景中的运动状态判断目标的真实动态性并剔除动态特征点;在后端优化中利用剩余静态特征点进行匹配与位姿估计,最终得到相机的最优运动轨迹。

Patent Agency Ranking