公开(公告)号：CN114972501A

公开(公告)日：2022-08-30

申请号：CN202210423500.0

申请日：2022-04-21

Applicant: 东北大学

Inventor： 张云洲 ,  梁世文 ,  田瑞 ,  杨凌昊 ,  曹振中

IPC: G06T7/73 ,  G06T7/215 ,  G06T7/246

Abstract: 本发明属于视觉SLAM领域，提出了一种基于先验语义地图结构信息和语义信息的视觉定位算法。本发明通过一种融合先验语义地图语义信息和结构信息的混合约束，将先验语义地图因子引入到视觉定位中。随后，利用视觉路标与先验语义地图之间的数据关联，使用期望最大化算法同时优化数据关联和相机位姿，提高视觉定位的精度和鲁棒性。该算法能够有效限制视觉里程计的漂移误差并提高视觉定位精度，以服务于导航等应用场景。在满足实时性的要求下，取得了较高的定位精度。

公开(公告)号：CN114202579B

公开(公告)日：2024-07-16

申请号：CN202111279429.5

申请日：2021-11-01

Applicant: 东北大学 ,  北京仿真中心

Inventor： 张云洲 ,  杨凌昊 ,  马榕 ,  张金鹏 ,  梁世文 ,  曹振中

IPC: G06T7/73 ,  G06T7/80

Abstract: 一种面向动态场景的实时多体SLAM系统，该发明提取先验地图的结构信息和语义信息作为视觉里程计的先验约束。通过提出一种融合先验地图语义信息和结构信息的混合约束，将先验地图因子引入到视觉定位中。随后，利用视觉路标与先验地图之间的数据关联，使用EM算法同时优化数据关联和相机位姿。该算法能够有效限制视觉里程计的漂移误差并提高视觉定位精度，以服务于导航等应用场景。本发明构建的系统极大地提升了SLAM系统在动态场景中的位姿估计精度并同时提升了系统对周围物体的运动感知能力，有助于开展更智能化的智能决策与规划等工作。

公开(公告)号：CN114202579A

公开(公告)日：2022-03-18

申请号：CN202111279429.5

申请日：2021-11-01

Applicant: 东北大学 ,  北京仿真中心

Inventor： 张云洲 ,  杨凌昊 ,  马榕 ,  张金鹏 ,  梁世文 ,  曹振中

IPC: G06T7/73 ,  G06T7/80

Abstract: 一种面向动态场景的实时多体SLAM系统，该发明提取先验地图的结构信息和语义信息作为视觉里程计的先验约束。通过提出一种融合先验地图语义信息和结构信息的混合约束，将先验地图因子引入到视觉定位中。随后，利用视觉路标与先验地图之间的数据关联，使用EM算法同时优化数据关联和相机位姿。该算法能够有效限制视觉里程计的漂移误差并提高视觉定位精度，以服务于导航等应用场景。本发明构建的系统极大地提升了SLAM系统在动态场景中的位姿估计精度并同时提升了系统对周围物体的运动感知能力，有助于开展更智能化的智能决策与规划等工作。

公开(公告)号：CN116630561A

公开(公告)日：2023-08-22

申请号：CN202310603931.X

申请日：2023-05-26

Applicant: 东北大学

Inventor： 张云洲 ,  田瑞 ,  曹振中 ,  杨凌昊 ,  张金鹏 ,  梁世文

IPC: G06T17/05 ,  G06T7/557 ,  G06T7/73 ,  G06T7/277 ,  G06V10/40 ,  G06V10/82

Abstract: 本发明提供一种基于鲁棒的二次曲面初始化的室外视觉定位和建图方法，涉及视觉SLAM技术领域。本发明首先通过二维观测对目标物体初始化为等轴球体，然后利用后续观测优化球体为椭球。系统使用基于语义特征、椭球投影交并比和物体运动预测的数据关联算法保证连续帧物体的准确关联。最后使用联合优化策略，对相机位姿，二次曲面参数，地图点优化，最终构建完整的物体级语义地图。该发明能克服物体检测噪声和动态遮挡的干扰，并能有效克服传统物体初始化算法对平面假设的依赖，以适应复杂的实际场景路况，应用于无人驾驶和智能机器人的视觉感知和视觉定位领域。

公开(公告)号：CN118334083A

公开(公告)日：2024-07-12

申请号：CN202410539090.5

申请日：2024-04-30

Applicant: 东北大学 ,  江苏曙光光电有限公司

Inventor： 张云洲 ,  王婷婷 ,  杨凌昊 ,  吕乐章 ,  王贵圆 ,  刘伟

IPC: G06T7/246 ,  G06T7/80 ,  G06T5/30 ,  G06F17/16 ,  G06F17/18 ,  G06N3/0464 ,  G06Q10/04

Abstract: 本发明提供基于相机参数化的多物体追踪及位姿优化方法，涉及计算机视觉及自主驾驶技术领域。该方法具体包括：获取激光点数据并进行3D目标检测，得到M个t时刻的3D物体检测框，通过提取该物体检测框内的物体点生成连续区域的物体掩膜；对于存在的待检测物体，预测N个t时刻的3D预测检测框，根据N个t时刻的3D预测检测框和M个t时刻的3D物体检测框构建亲和力矩阵并采用KM算法追踪物体；对于追踪成功的物体，提取该物体在t时刻的新特征点，使用角点跟踪算法将获取到的t‑1时刻该物体的特征点与t时刻提取到的新特征点进行关联，得到t时刻的物体点；通过构建几何约束和语义约束来构建损失函数并采用LM算法优化，得到物体在t时刻的优化位姿和速度。

公开(公告)号：CN114972501B

公开(公告)日：2024-07-02

申请号：CN202210423500.0

申请日：2022-04-21

Applicant: 东北大学

Inventor： 张云洲 ,  梁世文 ,  田瑞 ,  杨凌昊 ,  曹振中

IPC: G06T7/73 ,  G06T7/215 ,  G06T7/246

Abstract: 本发明属于视觉SLAM领域，提出了一种基于先验语义地图结构信息和语义信息的视觉定位方法。本发明通过一种融合先验语义地图语义信息和结构信息的混合约束，将先验语义地图因子引入到视觉定位中。随后，利用视觉路标与先验语义地图之间的数据关联，使用期望最大化算法同时优化数据关联和相机位姿，提高视觉定位的精度和鲁棒性。该算法能够有效限制视觉里程计的漂移误差并提高视觉定位精度，以服务于导航等应用场景。在满足实时性的要求下，取得了较高的定位精度。