公开(公告)号：CN116824433A

公开(公告)日：2023-09-29

申请号：CN202310495293.4

申请日：2023-05-05

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 韩松芮 ,  刘华巍 ,  童官军 ,  宋尧哲

IPC: G06V20/40 ,  G01S17/06 ,  G01S17/86 ,  G01C21/16 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0895

Abstract: 本发明涉及一种基于自监督神经网络的视觉‑惯导‑雷达融合自定位方法，包括：获取视频帧序列、惯导数据和激光雷达点云图；将视频帧序列、惯导数据和激光雷达点云图输入至位姿估计网络模型，得到输入视频帧的相对位姿估计；其中，位姿估计网络模型包括：深度预测网络，用于根据输入的视频帧序列得到深度图；特征提取网络，用于分别对输入的视频帧序列、惯导数据和激光雷达点云图提取特征信息，得到视觉特征、动量特征和雷达特征；特征融合网络，用于将视觉特征和雷达特征进行融合得到预融合特征，再将预融合特征与动量特征进行融合，得到融合特征；位姿估计网络，用于根据融合特征预测位姿变换矩阵。本发明提升了自监督深度定位算法的定位精度。