公开(公告)号：CN117928519B

公开(公告)日：2024-07-26

申请号：CN202410309965.2

申请日：2024-03-19

Applicant: 北京理工大学

Inventor： 邓方 ,  樊铮 ,  张乐乐 ,  董伟 ,  石翔 ,  赵佳晨 ,  陈晨 ,  吕茂斌 ,  支涛 ,  李洪波

IPC: G01C21/00 ,  G06T7/73 ,  G06V20/56 ,  G06V10/44 ,  G06V10/46 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明提供了一种服务机器人的多传感器融合定位与建图方法及系统，属于服务机器人技术领域；本方法利用了深度学习的方法提取并融合多模态语义信息，避免了传统几何信息在非结构化场景、纹理不丰富的场景中的退化问题，并且有助于减小动态障碍物对定位和建图结果的影响，同时语义信息的引入能够帮助服务机器人建立带有语义认知的环境地图，从而促进了服务机器人执行更高阶的任务，例如运送特定物体、到达指定对象附近、场景理解等；本方法建立了将语义残差、传统几何残差、光度残差、IMU预积分紧耦合的系统，能够同时利用语义和几何特征对机器人的位姿进行优化，充分提升了多传感器信息的利用率，同时通过关键帧和滑动窗口减小了计算消耗。

公开(公告)号：CN117928519A

公开(公告)日：2024-04-26

申请号：CN202410309965.2

申请日：2024-03-19

Applicant: 北京理工大学

Inventor： 邓方 ,  樊铮 ,  张乐乐 ,  董伟 ,  石翔 ,  赵佳晨 ,  陈晨 ,  吕茂斌 ,  支涛 ,  李洪波

IPC: G01C21/00 ,  G06T7/73 ,  G06V20/56 ,  G06V10/44 ,  G06V10/46 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明提供了一种服务机器人的多传感器融合定位与建图方法及系统，属于服务机器人技术领域；本方法利用了深度学习的方法提取并融合多模态语义信息，避免了传统几何信息在非结构化场景、纹理不丰富的场景中的退化问题，并且有助于减小动态障碍物对定位和建图结果的影响，同时语义信息的引入能够帮助服务机器人建立带有语义认知的环境地图，从而促进了服务机器人执行更高阶的任务，例如运送特定物体、到达指定对象附近、场景理解等；本方法建立了将语义残差、传统几何残差、光度残差、IMU预积分紧耦合的系统，能够同时利用语义和几何特征对机器人的位姿进行优化，充分提升了多传感器信息的利用率，同时通过关键帧和滑动窗口减小了计算消耗。