-
公开(公告)号:CN119779323A
公开(公告)日:2025-04-08
申请号:CN202411876333.0
申请日:2024-12-19
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于视觉场景理解的机器人未知环境建图方法,包括:获取多目视觉图像,并基于所述多目视觉图像生成深度图;基于所述多目视觉图像并利用视觉定位系统确定无人系统的位姿;采用语义分割模型对所述多目视觉图像进行语义分割;根据语义分割结果和深度图构建三维语义地图,并结合无人系统的位姿拼接连续帧的三维语义地图,并在语义信息的引导下构建出三维场景关联拓扑图;构建融合探索成本代价函数,并对所述融合探索成本代价函数进行求解,得到下一最优视点;根据语义分割结果生成障碍物分割地图,基于所述下一最优视点和障碍物分割地图进行局部路径规划。本发明实现了高效的未知环境自主探索。
-
公开(公告)号:CN119653238A
公开(公告)日:2025-03-18
申请号:CN202411897594.0
申请日:2024-12-23
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种双目相机增稳方法,包括以下步骤:在每个相机上安装惯性测量单元;对所述双目相机进行标定后计算得到右相机坐标系转换到左相机坐标系的外参变换矩阵;对所述双目相机的每个相机及其惯性测量单元进行标定后,获得惯性测量单元坐标系转换到对应相机坐标系的变换矩阵;根据两个不同时刻所述双目相机拍摄的图像帧和所述惯性测量单元采集的测量数据,解算出左右相机的位姿变换矩阵,以及左右相机惯性测量单元的位姿变换矩阵;将全部位姿变换矩阵转换到左相机坐标系并计算出融合变换矩阵,基于位姿变换矩阵判断所述两个不同时刻间是否发生抖动,并利用所述融合变换矩阵进行增稳操作。本发明能够有效保证双目相机输出图像的稳定性。
-
公开(公告)号:CN119642818A
公开(公告)日:2025-03-18
申请号:CN202411722564.6
申请日:2024-11-28
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种面向大规模未知场景的无人机自主探索方法,包括:利用无人机飞行过程中获取的双目图、双目图中的深度数据和IMU数据建立体素图;对大规模未知空间进行稀疏化表示,得到若干分治空间的聚类拓扑节点;基于若干分治空间的聚类拓扑节点和体素图对全局覆盖路径进行规划;根据探索视点和全局覆盖路径进行局部路径规划,并对局部路径进行轨迹优化。本发明能够实现无人机在大规模未知场景下的完备、高效探索。
-
公开(公告)号:CN117636282B
公开(公告)日:2025-03-18
申请号:CN202311620329.3
申请日:2023-11-30
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V20/56 , G06V10/80 , G06V10/764 , G06V10/40 , G06V10/774 , G06V10/776 , G06V10/82
Abstract: 本发明涉及一种基于多重约束的栅格占据率估计方法、设备及介质,方法包括:接收车辆周围相机传感器获取的多视角相机图像;将多视角相机图像输入至栅格占据率估计模型中,得到栅格占据率预测结果;其中,栅格占据率估计模型增加了对每个视角的二维重投影监督,能够有效约束对侧不同物体的特征,还设计了基于物体一致性的空间约束,利用周围体素对处理后的当前体素进行语义标注的影响,解决预测三维结果中的异常值问题。本发明能有效提高算法精度及运算速度,提高了栅格占据率的估计效果。
-
公开(公告)号:CN118052842B
公开(公告)日:2025-03-14
申请号:CN202410070469.6
申请日:2024-01-18
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/20 , G06T7/55 , G06T7/70 , G06N3/0464 , G06N3/088
Abstract: 本发明涉及一种基于无纹理加权模块的无监督视觉里程计方法和系统,其中,方法包括:接收单目视频序列;将单目视频序列输入至预测模型,得到预测结果;其中,预测模型包括:深度估计子网络,用于估计输入的目标图像对应的深度图;位姿估计子网络,用于估计输入的目标图像和源图像之间的相对位姿;重投影模块,用于根据深度图和相对位姿对源图像进行重投影操作,得到重建目标图像;无纹理加权模块,用于对目标图像和重建目标图像中无纹理区域的每个像素点赋予不同权重,得到用于构造重投影损失的加权目标图像和加权重建目标图像。本发明能够减少场景中无纹理区域对无监督视觉里程计中重投影损失的影响。
-
公开(公告)号:CN118334389B
公开(公告)日:2024-12-24
申请号:CN202410497467.5
申请日:2024-04-24
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V10/75 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种基于频域自适应滤波优化的鲁棒立体匹配方法和装置,方法包括:获取双目图像;将获取的双目图像输入至立体匹配模型中,完成像素点的匹配得到视差图;立体匹配模型包括:特征提取网络,用于提取双目图像的特征,得到左图特征和右图特征;自适应滤波模块,用于将左图特征和右图特征转换到频域,并对左图特征和右图特征进行自适应滤波,并将滤波后的左图特征和右图特征重新变换到空间域完成代价体构建;频率补偿模块,用于对左图频域特征进行频率补偿,并与代价体聚合后的聚合特征进行融合,得到融合特征;视差预测模块,用于根据融合特征进行视差预测,完成像素点的匹配得到视差图。本发明能够提升立体匹配模型对校正误差的鲁棒性。
-
公开(公告)号:CN117495919B
公开(公告)日:2024-11-29
申请号:CN202311561532.8
申请日:2023-11-22
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于遮挡物体检测及运动连续性的光流估计方法,包括:接收连续的两帧图像;将连续的两帧图像输入至光流估计模型中,得到光流估计值;其中,光流估计模型包括:特征提取部分提取连续的两帧图像的图像特征和上下文特征;匹配部分基于连续的两帧图像的图像特征计算相关像素点匹配,得到4D代价体;遮挡点估计部分对4D代价体进行特征相似度判断函数处理并通过卷积网络得到遮挡点;关联优化部分根据遮挡点估计出潜在匹配位置,并与4D代价体给出的位置计算对比整合,得到优化后的4D代价体;迭代优化部分根据优化后的4D代价体与上下文特征进行迭代优化,得到光流估计值。本发明能够提升光流估计精度。
-
公开(公告)号:CN111882613B
公开(公告)日:2024-06-14
申请号:CN202010723128.6
申请日:2020-07-24
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明基于边缘语义的视觉里程计方法、装置、存储介质及设备。所述基于边缘语义的视觉里程计方法包括:提取图像序列的边缘特征和语义信息,并分别对这二者进行距离变换,以得到边缘距离残差和语义距离残差;利用所述语义距离残差对所述边缘距离残差进行约束,并联合非线性优化的边缘距离误差和语义距离误差估计相机的相对运动。本发明联合优化边缘和语义距离误差的边缘语义视觉里程计,能够充分利用语义信息来提升运动估计的鲁棒性和精确性。
-
公开(公告)号:CN118052842A
公开(公告)日:2024-05-17
申请号:CN202410070469.6
申请日:2024-01-18
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/20 , G06T7/55 , G06T7/70 , G06N3/0464 , G06N3/088
Abstract: 本发明涉及一种基于无纹理加权模块的无监督视觉里程计方法和系统,其中,方法包括:接收单目视频序列;将单目视频序列输入至预测模型,得到预测结果;其中,预测模型包括:深度估计子网络,用于估计输入的目标图像对应的深度图;位姿估计子网络,用于估计输入的目标图像和源图像之间的相对位姿;重投影模块,用于根据深度图和相对位姿对源图像进行重投影操作,得到重建目标图像;无纹理加权模块,用于对目标图像和重建目标图像中无纹理区域的每个像素点赋予不同权重,得到用于构造重投影损失的加权目标图像和加权重建目标图像。本发明能够减少场景中无纹理区域对无监督视觉里程计中重投影损失的影响。
-
公开(公告)号:CN112288824B
公开(公告)日:2024-04-12
申请号:CN202011165184.9
申请日:2020-10-27
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明公开了一种基于现实场景的长焦相机标定装置及标定方法,所述装置包括测距机构和控制机构;控制机构包括俯仰机构和偏摆机构,俯仰机构设于偏摆机构的上方,俯仰机构包括俯仰组件和和用于测量俯仰角度的俯仰角度测量组件;偏摆机构包括偏摆组件和用于测量偏摆角度的偏摆角度测量组件;测距机构设置于控制机构上,测距机构能够随控制机构同步运动,测距机构用于测量特征点到测距机构的直线距离。本发明方法通过标定装置,获取现实场景中的特征点在同一坐标系下三维坐标,利用这些特征点来完成长焦相机的标定;由于特征点均来自现实场景,因此限制较小,而且这些特征点可以遍布相机的大部分画面,从而具有较好的标定结果。
-
-
-
-
-
-
-
-
-