-
公开(公告)号:CN106651836B
公开(公告)日:2019-10-22
申请号:CN201610964432.3
申请日:2016-11-04
Applicant: 中国科学院上海微系统与信息技术研究所 , 中国科学院大学
IPC: G06T7/00
Abstract: 本发明涉及一种基于双目视觉的地平面检测方法,包括以下步骤:获取双目图像采集设备采集的左右目原始图像;对左右目原始图像进行预处理,利用立体匹配技术获得稠密视差图;利用特征算子在稠密视差图上进行运算,得到特征图;对特征图进行分割,将其分割成多个区域块;对每个区域块进行二类分类,判断此区域是否属于地平面区域;对地平面区域进行后处理,剔除不符合条件的连通域,确定最终地平面区域。本发明适用于不同地平面环境下的地平面检测,能有效应对不平坦路面的检测问题,且可以精准处理地平面与障碍物边界。
-
公开(公告)号:CN109579840A
公开(公告)日:2019-04-05
申请号:CN201811250049.7
申请日:2018-10-25
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种点线特征融合的紧耦合双目视觉惯性SLAM方法,包括以下步骤:确定相机坐标系与惯性传感器坐标系的变换关系;建立点线特征加IMU跟踪线程,求解初始的立体点线三维坐标,在IMU初始化后,使用IMU预测特征点线的位置,建立正确特征数据关联,结合IMU和点线特征重投影误差项,求解连续帧的位姿变换;建立点线特征加IMU局部光束法平差线程,在局部关键帧窗口中优化点线三维坐标,关键帧位姿以及IMU的状态量;建立点线特征回环检测线程,使用点线特征加权计算词袋模型的得分来检测回环,并进行全局状态量的优化。本发明能够在特征点数目较少以及相机快速运动情况下保证稳定和高精度。
-
公开(公告)号:CN116309698B
公开(公告)日:2024-06-11
申请号:CN202310038906.1
申请日:2023-01-11
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/246 , G06T5/00 , G06N3/045 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种基于运动特征弥补引导的多帧光流估计方法,包括以下步骤:提取至少连续两帧的输入图像的图像特征;基于相邻两帧的输入图像的图像特征,采用运动编码器得到初始运动特征;将初始运动特征和历史集成特征输入至MFC单元,所述MFC单元通过交叉注意力得到增强运动特征,并与初始运动特征合并得到集成特征;将所述集成特征输入至迭代模块进行迭代计算,得到最终光流。本发明可以大大改进光流估计在遮挡区域的性能。
-
公开(公告)号:CN112966584B
公开(公告)日:2024-04-19
申请号:CN202110223264.3
申请日:2021-02-26
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V10/82 , G06V10/44 , G06V10/774 , G06V40/20 , G06T7/269 , G06N3/0464 , G06N3/09
Abstract: 本发明涉及一种运动感知模型的训练方法、装置、电子设备及存储介质,包括获取训练图像组集合和每一训练图像组对应的标签光流信息,对每一训练图像组进行特征提取处理,确定多个目标特征图集,从每一目标特征图集中,确定每一训练图像组对应的预测光流信息,根据标签光流信息和预测光流信息,确定每一目标特征图集对应的损失信息,基于每一目标特征图集对应的损失信息对当前机器学习模型的参数进行调整,当对当前机器学习模型的参数进行调整的次数大于预设阈值时,将当前机器学习模型确定为运动感知模型,将损失信息对应的模型参数确定为运动感知模型的参数。本申请可以监督中间的特征层的采样所得到感知信息,提高模型输出的运动状态的精确性。
-
公开(公告)号:CN116681759B
公开(公告)日:2024-02-23
申请号:CN202310419746.5
申请日:2023-04-19
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于自监督视觉惯性里程计的相机位姿估计方法,包括:获取多帧图像以及每两帧图像之间的IMU数据;将所述多帧图像和IMU数据输入至网络模型中,得到位姿变换信息和深度信息;其中,所述网络模型基于视惯融合里程计网络构建,在所述视惯融合里程计网络的IMU网络模块前增加基于自注意力机制尺度恢复模块;所述自注意力机制尺度恢复模块用于估计尺度信息。本发明能够提高里程计的准确性。
-
公开(公告)号:CN114882091B
公开(公告)日:2024-02-13
申请号:CN202210476348.2
申请日:2022-04-29
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 分类模块用于进行深度边缘语义分类预测;所述本发明涉及一种结合语义边缘的深度估计 语义边缘检测模块用于输出图像的语义边缘分方法,包括:获取待深度估计的图像;将所述图像 类预测。本发明能够提高准确度。输入至训练好的深度学习网络中得到深度预测图和语义边缘预测图;所述深度学习网络包括:共享特征提取模块、深度估计模块、边缘增强权重模块、深度边缘语义分类模块和语义边缘检测模块;所述共享特征提取模块用于提取所述图像中的特征信息,并传输给所述深度估计模块和语义边缘检测模块;所述深度估计模块通过所述语义边缘检测模块输出的语义边缘引导视差平滑,并通过图像双重构的方式进行深度估计;所述边缘增强权重模块基于所述深度估计模块输出的(56)对比文件Jing Liu 等.CollaborativeDeconvolutional Neural Networks for JointDepth Estimation and SemanticSegmentation《.IEEE TRANSACTIONS ON NEURALNETWORKS AND LEARNING SYSTEMS》.2018,第第29卷卷(第第11期期),5655-5666.
-
公开(公告)号:CN117523249A
公开(公告)日:2024-02-06
申请号:CN202210903222.9
申请日:2022-07-28
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V10/764 , G06V10/80 , G06V10/82 , G06N3/084 , G06N3/0464
Abstract: 本申请涉及计算机技术领域,提供了一种目标检测方法、装置、电子设备及存储介质,将待处理图像输入至目标检测模型的目标基础特征提取网络得到目标基础特征图;将目标基础特征图输入至目标检测模型的目标定位分支网络得到目标位置信息;将目标基础特征图输入至目标检测模型的目标层级分类分支网络得到每个分类层级对应的目标分类特征图;针对每个分类层级对应的目标分类分支网络,将分类层级对应的目标分类特征图与下级分类层级对应的目标分类特征图进行融合处理,基于融合后的融合目标分类特征图预测分类层级对应的目标分类信息。本申请可以同时满足不同粒度要求的目标检测,可以提高粗粒度的分类精度。
-
公开(公告)号:CN117373133A
公开(公告)日:2024-01-09
申请号:CN202311447158.9
申请日:2023-11-02
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V40/20 , G06V20/40 , G06V10/44 , G06V10/74 , G06V10/77 , G06V10/82 , G06N3/0464 , G06N3/0499 , G06N3/08
Abstract: 本发明涉及一种基于CLIP模型图文双支共享机制的动作识别方法,包括:获取待识别视频并分为多帧RGB图;将多帧RGB图输入至动作识别模型,得到待识别视频中主体的动作类别;其中,动作识别模型中的视觉‑文本信息共享模块用于形成共享token;时空增强模块用于重塑图像特征序列以及更新共享token;图像特征提取部分用于结合视觉‑文本信息共享模块和时空增强模块提取多帧RGB图的视觉特征;文本特征提取部分用于结合视觉‑文本信息共享模块从类别文本中提取文本特征;相似度计算模块,用于计算文本特征和视觉特征的相似度,将相似度最大的类别作为待识别视频中主体的动作类别。本发明能达到准确、高效的行为识别性能。
-
公开(公告)号:CN117011925A
公开(公告)日:2023-11-07
申请号:CN202310814418.5
申请日:2023-07-05
Applicant: 上海大学 , 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于注意力机制和深度先验的注视点检测方法,包括:对场景图中的头部图像进行特征提取得到视线特征,根据视线特征预测出注视方向,并根据注视方向进行编码生成注视场;将场景图、场景深度图和注视场输入至以ResNet网络为骨干的特征金字塔网络,得到视线区域定位注视区域的显著物体。本发明能够提高注视点检测的精度。
-
公开(公告)号:CN111862236B
公开(公告)日:2023-10-20
申请号:CN202010713282.5
申请日:2020-07-22
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明提供一种定焦双目相机自标定方法及系统,包括:1)获取左右原始图像;2)校正左右原始图像;3)从左右校正图像中提取特征点并匹配;4)统计左右图像纵坐标偏差的平均值,若大于第一阈值则修正估计第一参数组,校准后再次比较,反复迭代修正,直至小于第一阈值;5)找到静态物体;6)处于移动状态时,追踪静态物体的视差及车轮运动信息;7)得到车轮运动距离与静态物体的三维距离变化值的距离偏差,若大于第二阈值则修正估计第二参数组,重新计算,反复迭代校正,直至小于第二阈值,完成自标定。本发明利用实时图像追踪和车体运动信息,对外参进行优化标定,完成图像校正工作,为车体提供准确的三维识别数据。
-
-
-
-
-
-
-
-
-