-
公开(公告)号:CN116433639A
公开(公告)日:2023-07-14
申请号:CN202310419749.9
申请日:2023-04-19
Applicant: 中国科学院上海微系统与信息技术研究所 , 安徽爱观视觉科技有限公司
Abstract: 本发明涉及一种基于双目视觉系统的受电弓燃弧检测方法和装置,其中,方法包括:采用双目相机对受电弓进行拍摄,获取双目图像,所述双目图像中包括受电弓与接触网;将所述双目图像送入第一yolov5目标检测模型中进行目标检测,得到受电弓与接触网的接触区域,以及受电弓与接触网的接触点;将所述双目图像送入第二yolov5目标检测模型中进行目标检测,检测出双目图像中的燃弧火花;对检测出双目图像中的燃弧火花进行三维重建,得到燃弧火花在空间的三维坐标;基于所述燃弧火花在空间的三维坐标计算所述燃弧火花和所述受电弓与接触网的接触点的距离,并根据距离滤除错误结果。本发明可以实现实时高精度的燃弧检测。
-
公开(公告)号:CN116380061A
公开(公告)日:2023-07-04
申请号:CN202211614647.4
申请日:2022-12-15
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G01C21/20 , G01C21/00 , G06V40/10 , G06N3/08 , G06N3/0464
Abstract: 本发明涉及一种移动机器人视听觉融合感知与导航方法,包括以下步骤:对移动机器人的视觉传感器系统与听觉传感器系统进行参数标定;利用视觉传感器系统和标定的参数构建导航栅格地图;使用视觉传感器系统获取交互对象的视频序列,并基于三维卷积和长短期记忆网络的手势识别方法,利用注意力机制和多尺度特征融合,实现以所述视频序列为输入的端到端手势行为识别;从所述视频序列中提取出感兴趣的目标对象并进行跟踪,并利用听觉传感器系统和视觉传感器系统得到具有显著性的目标对象的序列。本发明能够以更加智能和自然的方式与机器人导航系统进行交互。
-
公开(公告)号:CN116342717A
公开(公告)日:2023-06-27
申请号:CN202310419747.X
申请日:2023-04-19
Applicant: 中国科学院上海微系统与信息技术研究所 , 安徽爱观视觉科技有限公司
Abstract: 本发明涉及一种基于线结构光的无公共视场的多相机标定方法,包括:利用空间中至少3个不同方向的平面标定装置来标定每个相机的内部参数;调整激光平面,使空间标定装置在相邻两台相机的有效成像区域内接到清晰的激光线条,其中,每台相机的成像次数不少于两组;在拍到的激光线条图像中,提取激光线条的能量中心坐标,利用每台相机不少于两条激光直线在各自的相机坐标系内计算拟合平面;重复上述步骤,得到多组拟合平面参数;根据得到的多组拟合平面参数,利用平面共面约束,求解相机之间的初始相对位置关系,并通过LM优化算法提高标定精度。本发明能够用较低的成本、在更多的场景中提供高精度的标定结果。
-
公开(公告)号:CN116245940A
公开(公告)日:2023-06-09
申请号:CN202310052012.8
申请日:2023-02-02
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于结构差异感知的类别级六自由度物体位姿估计方法,包括:将深度图输入至目标检测分割网络进行识别,并根据识别结果得到物体实例的观测点云,并基于物体实例的观测点云选择目标物体对应的类别先验;提取观测点云和类别先验的特征,得到实例几何特征和类别几何特征;将实例几何特征和类别几何特征输入信息交互增强模块,得到增强的实例几何特征和类别几何特征;再通过所述语义动态融合模块进行语义和几何信息的融合,得到实例融合特征和类别融合特征;基于类别融合特征得到实例NOCS模型;通过匹配网络将实例NOCS模型和观测点云进行匹配,并根据相似性计算得到目标物体的6D位姿和大小。本发明能够提高6D位姿估计的准确性。
-
公开(公告)号:CN115631086A
公开(公告)日:2023-01-20
申请号:CN202211307322.1
申请日:2022-10-25
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种实时图像序列的几何校正装置,其中,流水线实时计算模块用于根据标定的相机参数实时计算输出图像像素点的位置坐标相对于输入图像像素点的位置坐标;输入缓存单元用于缓存输入图像数据;输入缓存管理模块用于根据输入图像像素点的位置坐标的整数部分管理输入缓存单元中的输入图像数据;插值计算模块用于将输入图像像素点的位置坐标的小数部分作为插值计算的权重,对输入图像数据进行插值计算,得到校正图像值;校正系统控制模块用于启动流水线实时计算模块和控制输入缓存管理模块的数据处理,以完成从输入畸变图到输出校正图的时序控制。本发明能够以较少的嵌入式硬件资源实现高实时性图像序列的校正。
-
公开(公告)号:CN112985263B
公开(公告)日:2022-09-23
申请号:CN202110178637.X
申请日:2021-02-09
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明公开一种弓网几何参数检测方法、装置及设备,该方法包括:获取列车运行过程中的双目监控图像,所述双目监控图像包括受电弓与接触网;将所述双目监控图像输入至预先训练的目标检测模型进行弓网接触区域检测得到检测结果,所述检测结果包括所述双目监控图像中的目标弓网接触区域;根据所述检测结果对跟踪器进行初始化,由所述跟踪器对所述目标弓网接触区域进行跟踪检测,将跟踪检测到的所述目标弓网接触区的实时图像存储至指定存储空间;根据所述目标弓网接触区域的实时图像,在所述双目监控图像中定位弓网接触点;根据定位的弓网接触点计算弓网几何参数。本发明实现了对弓网几何参数的检测,确保了弓网系统的正常运行。
-
公开(公告)号:CN114973388A
公开(公告)日:2022-08-30
申请号:CN202210484547.8
申请日:2022-05-06
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种同时估计眼部视线和面部视线的视线估计方法,包括以下步骤:获取左眼图像、右眼图像和面部图像;分别对所述左眼图像、右眼图像和面部图像进行标准化坐标系处理;将标准化处理后的所述左眼图像、右眼图像和面部图像输入至视线评估模型,输出预测的眼部视线和面部视线;所述视线评估模型包括:特征提取层、特征信息转换层、第一特征交流层、第二特征交流层、第一全连接层和第二全连接层。本发明可以同时预测眼部视线和面部视线。
-
公开(公告)号:CN114882091A
公开(公告)日:2022-08-09
申请号:CN202210476348.2
申请日:2022-04-29
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种结合语义边缘的深度估计方法,包括:获取待深度估计的图像;将所述图像输入至训练好的深度学习网络中得到深度预测图和语义边缘预测图;所述深度学习网络包括:共享特征提取模块、深度估计模块、边缘增强权重模块、深度边缘语义分类模块和语义边缘检测模块;所述共享特征提取模块用于提取所述图像中的特征信息,并传输给所述深度估计模块和语义边缘检测模块;所述深度估计模块通过所述语义边缘检测模块输出的语义边缘引导视差平滑,并通过图像双重构的方式进行深度估计;所述边缘增强权重模块基于所述深度估计模块输出的深度预测图的深度边缘形成所述语义边缘检测模块所需要融合的特征结果;所述深度边缘语义分类模块用于进行深度边缘语义分类预测;所述语义边缘检测模块用于输出图像的语义边缘分类预测。本发明能够提高准确度。
-
公开(公告)号:CN114820785A
公开(公告)日:2022-07-29
申请号:CN202210419351.0
申请日:2022-04-20
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/73 , G06V10/762 , G06V10/774 , G06K9/62 , G06N20/00
Abstract: 本发明涉及图像识别技术领域,本发明提供了一种图像中对象位置关系的识别方法、装置及存储介质。该识别方法通过是获取包含多个待识别对象的RGB图和深度图;深度图包含有与该RGB图中的每个像素点对应的深度信息;对RGB图进行检测和特征提取,可以得到包含多个目标图像对应的视觉特征和语义特征;通过对深度图中的每个像素点的深度进行聚类等处理,确定每个目标图像的目标对象的中心深度,以确定任意两个目标对象的深度差值,最后将上述每个目标图像对应的视觉特征、语义特征和任意两个目标对象的深度差值输入到训练好的位置关系分类模型,即可输出任意两个目标对象的位置结果。本申请提供的对象位置关系识别方法具有对位置结果识别的准确性高的特点。
-
公开(公告)号:CN114332236A
公开(公告)日:2022-04-12
申请号:CN202111472874.3
申请日:2021-12-03
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/80
Abstract: 本申请实施例所公开的一种视觉系统的云台标定方法、装置、电子设备及存储介质,其中,视觉系统包括具有多个自由度的云台、设置在云台上的相机和设置在云台外且相对于云台静止的靶标集合。通过对多个靶标进行采样,可以规避相机视场角对云台可转动角度的限制,覆盖云台的全部转角范围。通过将靶标投影误差作为约束进行优化,可以减小二次误差传递。可以对可动视觉系统的所有自由度结构在各种旋转角度下采样的数据进行全局的标定,可以扩大应用场景,此外可以减小可动视觉系统在运动状态下对相机位姿的预测误差。
-
-
-
-
-
-
-
-
-