-
公开(公告)号:CN111724439B
公开(公告)日:2024-05-17
申请号:CN201911200881.0
申请日:2019-11-29
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及机器人导航定位技术领域,具体是一种动态场景下的视觉定位方法及装置,所述方法包括:获取当前帧图像,提取所述当前帧图像的特征点;将所述当前帧图像输入预设深度学习网络进行语义分割,得到目标语义图像;根据所述目标语义图像确定所述当前帧图像的运动掩模区域;获取所述当前帧图像的深度信息;基于所述目标语义图像和所述深度信息进行运动一致性检测,确定所述当前帧图像的静态特征点集合;根据所述静态特征点集合确定当前状态位姿信息。本发明通过语义分割结果和深度信息进行运动一致性检测,确定图像的静态特征点集合,能够有效提高在动态环境中对位姿估计的精确性和鲁棒性。
-
公开(公告)号:CN112580804B
公开(公告)日:2024-04-05
申请号:CN202011555461.7
申请日:2020-12-23
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06N3/082 , G06N3/0464 , G06N3/0495 , G06V10/82
Abstract: 本发明涉及一种目标图像处理模型的确定方法、装置及存储介质,方法包括根据待剪枝图像处理模型的历史剪枝信息和历史精度信息,确定当前剪枝信息;基于当前剪枝信息,对待剪枝图像处理模型进行剪枝处理,得到剪枝后的模型;将样本图像输入剪枝后的模型,进行特征预测处理,得到预测特征信息;根据样本图像的标签信息和预测特征信息,确定剪枝后的模型的精度信息;根据剪枝后的模型的精度信息和当前剪枝信息,确定待剪枝信息;若待剪枝信息满足预设停止剪枝条件,将剪枝后的模型确定为目标图像处理模型。本发明可以减小目标图像处理模型的结构,减少目标图像处理模型所占资源,还可以保证剪枝后的网络模型的精度。
-
公开(公告)号:CN111862234B
公开(公告)日:2023-10-20
申请号:CN202010711704.5
申请日:2020-07-22
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明提供一种双目相机自标定方法及系统,包括:1)获取左右原始图像;2)校正左右原始图像;3)从左右校正图像中提取特征点并匹配;4)统计左右图像纵坐标偏差的平均值,若大于对应阈值则修正估计第一参数组,反复迭代修正,直至小于对应阈值;5)找到静态物体;6)处于移动状态时,追踪静态物体的视差及车轮运动信息;7)得到车轮运动距离与静态物体的三维距离变化值的距离偏差,若大于对应阈值则修正估计第二参数组,反复迭代校正,直至小于对应阈值,完成自标定。本发明利用实时图像追踪和车体运动信息,对内外参进行优化标定,完成图像校正工作,为车体提供准确的三维识别数据。
-
公开(公告)号:CN116433639A
公开(公告)日:2023-07-14
申请号:CN202310419749.9
申请日:2023-04-19
Applicant: 中国科学院上海微系统与信息技术研究所 , 安徽爱观视觉科技有限公司
Abstract: 本发明涉及一种基于双目视觉系统的受电弓燃弧检测方法和装置,其中,方法包括:采用双目相机对受电弓进行拍摄,获取双目图像,所述双目图像中包括受电弓与接触网;将所述双目图像送入第一yolov5目标检测模型中进行目标检测,得到受电弓与接触网的接触区域,以及受电弓与接触网的接触点;将所述双目图像送入第二yolov5目标检测模型中进行目标检测,检测出双目图像中的燃弧火花;对检测出双目图像中的燃弧火花进行三维重建,得到燃弧火花在空间的三维坐标;基于所述燃弧火花在空间的三维坐标计算所述燃弧火花和所述受电弓与接触网的接触点的距离,并根据距离滤除错误结果。本发明可以实现实时高精度的燃弧检测。
-
公开(公告)号:CN116380061A
公开(公告)日:2023-07-04
申请号:CN202211614647.4
申请日:2022-12-15
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G01C21/20 , G01C21/00 , G06V40/10 , G06N3/08 , G06N3/0464
Abstract: 本发明涉及一种移动机器人视听觉融合感知与导航方法,包括以下步骤:对移动机器人的视觉传感器系统与听觉传感器系统进行参数标定;利用视觉传感器系统和标定的参数构建导航栅格地图;使用视觉传感器系统获取交互对象的视频序列,并基于三维卷积和长短期记忆网络的手势识别方法,利用注意力机制和多尺度特征融合,实现以所述视频序列为输入的端到端手势行为识别;从所述视频序列中提取出感兴趣的目标对象并进行跟踪,并利用听觉传感器系统和视觉传感器系统得到具有显著性的目标对象的序列。本发明能够以更加智能和自然的方式与机器人导航系统进行交互。
-
公开(公告)号:CN116245940A
公开(公告)日:2023-06-09
申请号:CN202310052012.8
申请日:2023-02-02
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于结构差异感知的类别级六自由度物体位姿估计方法,包括:将深度图输入至目标检测分割网络进行识别,并根据识别结果得到物体实例的观测点云,并基于物体实例的观测点云选择目标物体对应的类别先验;提取观测点云和类别先验的特征,得到实例几何特征和类别几何特征;将实例几何特征和类别几何特征输入信息交互增强模块,得到增强的实例几何特征和类别几何特征;再通过所述语义动态融合模块进行语义和几何信息的融合,得到实例融合特征和类别融合特征;基于类别融合特征得到实例NOCS模型;通过匹配网络将实例NOCS模型和观测点云进行匹配,并根据相似性计算得到目标物体的6D位姿和大小。本发明能够提高6D位姿估计的准确性。
-
公开(公告)号:CN114973388A
公开(公告)日:2022-08-30
申请号:CN202210484547.8
申请日:2022-05-06
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种同时估计眼部视线和面部视线的视线估计方法,包括以下步骤:获取左眼图像、右眼图像和面部图像;分别对所述左眼图像、右眼图像和面部图像进行标准化坐标系处理;将标准化处理后的所述左眼图像、右眼图像和面部图像输入至视线评估模型,输出预测的眼部视线和面部视线;所述视线评估模型包括:特征提取层、特征信息转换层、第一特征交流层、第二特征交流层、第一全连接层和第二全连接层。本发明可以同时预测眼部视线和面部视线。
-
公开(公告)号:CN114882091A
公开(公告)日:2022-08-09
申请号:CN202210476348.2
申请日:2022-04-29
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种结合语义边缘的深度估计方法,包括:获取待深度估计的图像;将所述图像输入至训练好的深度学习网络中得到深度预测图和语义边缘预测图;所述深度学习网络包括:共享特征提取模块、深度估计模块、边缘增强权重模块、深度边缘语义分类模块和语义边缘检测模块;所述共享特征提取模块用于提取所述图像中的特征信息,并传输给所述深度估计模块和语义边缘检测模块;所述深度估计模块通过所述语义边缘检测模块输出的语义边缘引导视差平滑,并通过图像双重构的方式进行深度估计;所述边缘增强权重模块基于所述深度估计模块输出的深度预测图的深度边缘形成所述语义边缘检测模块所需要融合的特征结果;所述深度边缘语义分类模块用于进行深度边缘语义分类预测;所述语义边缘检测模块用于输出图像的语义边缘分类预测。本发明能够提高准确度。
-
公开(公告)号:CN113886791A
公开(公告)日:2022-01-04
申请号:CN202111219097.1
申请日:2021-10-19
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06F21/32 , G06K9/00 , G06K9/62 , G06F16/58 , G06F16/583 , G06F16/587
Abstract: 本申请实施例所公开的一种身份信息的确定方法、装置、电子设备及存储介质,包括获取用户的待验证面部图像,若待验证面部图像与候选面部图像集合中的任一候选面部图像匹配,基于动态的目标生成第一图像序列;其中,第一图像序列中的每个第一图像包括目标,目标在每个第一图像中的位置是不同的。进而获取用户对应的第二图像序列,该第二图像序列中的每个第二图像是用户注视目标时采集的用户的面部图像,并根据第一图像序列和第二图像序列,确定用户的身份信息。基于本申请实施例通过基于动态的目标随机生成给用户注视的第一图像序列,可以有效防止他人利用静态图片、录制视频等手段欺骗认证系统,可以提高系统的安全性和可靠性。
-
公开(公告)号:CN113729616A
公开(公告)日:2021-12-03
申请号:CN202111023640.0
申请日:2021-09-01
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本申请实施例所公开的一种瞳孔中心位置数据的确定方法、装置及存储介质,包括获取眼球中心对应的眼球位置数据、瞳孔中心对应的瞳孔参考位置数据、第一瞳孔候选区域和第二瞳孔候选区域,从第一瞳孔候选区域中确定第一候选位置数据集合,从第二瞳孔候选区域中确定第二候选位置数据集合,基于眼球位置数据、瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合,确定瞳孔中心位置数据。本申请实施例基于双眼视线的内在关系从候选位置数据组集合中确定视线交汇的候选位置数据作为瞳孔中心位置数据,可以提升双眼视线估计精度。
-
-
-
-
-
-
-
-
-