一种基于滑动窗口优化的RGBD和IMU混合跟踪注册方法

    公开(公告)号:CN114529576B

    公开(公告)日:2024-09-24

    申请号:CN202210002435.4

    申请日:2022-01-04

    Abstract: 本发明请求保护一种基于滑动窗口优化的RGBD和IMU混合跟踪注册方法,其包括以下步骤:视觉测量前端步骤:首先,通过RGBD相机获取RGB信息与深度信息,进行特征提取与跟踪;对三个传感器的外参、偏置、绝对尺度进行标定,通过PnP、ICP算法估计滑动窗口内所有帧的位姿及观测点的逆深度,并与IMU预积分结果进行对齐求解相关参数;采用基于滑动窗口的方法对将视觉测量前端传过来的初始位姿信息做进一步优化,通过先验信息约束、视觉约束、IMU约束构建目标误差函数,通过基于滑动窗口的图优化算法不断优化所有帧的位姿及偏置信息;回环检测与优化步骤:利用DboW算法进行回环检测,如果检测到回环产生,则通过重定位的方式对整个轨迹进行闭环优化。

    一种基于卷积神经网络的机械零件增强现实跟踪注册方法

    公开(公告)号:CN112365577B

    公开(公告)日:2022-08-23

    申请号:CN202011251397.3

    申请日:2020-11-09

    Abstract: 本发明请求保护一种基于卷积神经网络的机械零件增强现实跟踪注册方法,具体包括如下步骤:U1、采用深度相机进行机械零件的三维建模,采集真实环境下的机械零件不同角度的位姿作为真实环境下的数据集。U2、对已建立的真实环境下的机械零件位姿数据集进行补充,将建模产生的3D模型导入Blender引擎建立物理和行为模型,生成三维场景,将模型与不同的场景图片进行融合,从而产生虚拟环境下我们深度学习需要机械零件6D位姿的数据。U3、对于卷积神经网络的训练,采用过往训练过的机械零件数据进行迁移学习;U4、结合深度可分离卷积的方式对深度学习网络框架轻量化来,对原本的卷积层进行改进,将训练参数减少四分之一以上。

    一种基于滑动窗口优化的RGBD和IMU混合跟踪注册方法

    公开(公告)号:CN114529576A

    公开(公告)日:2022-05-24

    申请号:CN202210002435.4

    申请日:2022-01-04

    Abstract: 本发明请求保护一种基于滑动窗口优化的RGBD和IMU混合跟踪注册方法,其包括以下步骤:视觉测量前端步骤:首先,通过RGBD相机获取RGB信息与深度信息,进行特征提取与跟踪;对三个传感器的外参、偏置、绝对尺度进行标定,通过PnP、ICP算法估计滑动窗口内所有帧的位姿及观测点的逆深度,并与IMU预积分结果进行对齐求解相关参数;采用基于滑动窗口的方法对将视觉测量前端传过来的初始位姿信息做进一步优化,通过先验信息约束、视觉约束、IMU约束构建目标误差函数,通过基于滑动窗口的图优化算法不断优化所有帧的位姿及偏置信息;回环检测与优化步骤:利用DboW算法进行回环检测,如果检测到回环产生,则通过重定位的方式对整个轨迹进行闭环优化。

    一种基于卷积神经网络的机械零件增强现实跟踪注册方法

    公开(公告)号:CN112365577A

    公开(公告)日:2021-02-12

    申请号:CN202011251397.3

    申请日:2020-11-09

    Abstract: 本发明请求保护一种基于卷积神经网络的机械零件增强现实跟踪注册方法,具体包括如下步骤:U1、采用深度相机进行机械零件的三维建模,采集真实环境下的机械零件不同角度的位姿作为真实环境下的数据集。U2、对已建立的真实环境下的机械零件位姿数据集进行补充,将建模产生的3D模型导入Blender引擎建立物理和行为模型,生成三维场景,将模型与不同的场景图片进行融合,从而产生虚拟环境下我们深度学习需要机械零件6D位姿的数据。U3、对于卷积神经网络的训练,采用过往训练过的机械零件数据进行迁移学习;U4、结合深度可分离卷积的方式对深度学习网络框架轻量化来,对原本的卷积层进行改进,将训练参数减少四分之一以上。

Patent Agency Ranking