-
公开(公告)号:CN117974785A
公开(公告)日:2024-05-03
申请号:CN202410135321.6
申请日:2024-01-31
Applicant: 北京工业大学
IPC: G06T7/73 , G06N3/0455 , G06N3/082 , G06V10/778 , G06V10/80
Abstract: 本发明公开了基于RGB‑D双模态互引导的视觉里程计方法。该方法采用一种特殊设计的卷积神经网络模型,能够充分挖掘RGB和深度模态间的关系,并利用位姿解码器实现相机位姿的计算。该模型包括位姿估计网络和深度估计网络。深度估计网络,用于从单张图像生成深度图。在位姿网络编码器部分,两分支的网络分别处理相邻RGB图像和深度图像的通道拼接数据。通过RGB引导深度细节增强模块和深度引导RGB语义增强模块,实现了RGB和深度数据间的双模态互引导,有效挖掘了多模态数据间的互补信息。最终,深度特征和RGB特征,通过位姿解码器准确计算出相机的位姿。本发明在特征表达能力上有显著提升,有效提高视觉里程计方法的准确性。