-
公开(公告)号:CN118052842A
公开(公告)日:2024-05-17
申请号:CN202410070469.6
申请日:2024-01-18
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/20 , G06T7/55 , G06T7/70 , G06N3/0464 , G06N3/088
Abstract: 本发明涉及一种基于无纹理加权模块的无监督视觉里程计方法和系统,其中,方法包括:接收单目视频序列;将单目视频序列输入至预测模型,得到预测结果;其中,预测模型包括:深度估计子网络,用于估计输入的目标图像对应的深度图;位姿估计子网络,用于估计输入的目标图像和源图像之间的相对位姿;重投影模块,用于根据深度图和相对位姿对源图像进行重投影操作,得到重建目标图像;无纹理加权模块,用于对目标图像和重建目标图像中无纹理区域的每个像素点赋予不同权重,得到用于构造重投影损失的加权目标图像和加权重建目标图像。本发明能够减少场景中无纹理区域对无监督视觉里程计中重投影损失的影响。
-
公开(公告)号:CN112288824B
公开(公告)日:2024-04-12
申请号:CN202011165184.9
申请日:2020-10-27
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明公开了一种基于现实场景的长焦相机标定装置及标定方法,所述装置包括测距机构和控制机构;控制机构包括俯仰机构和偏摆机构,俯仰机构设于偏摆机构的上方,俯仰机构包括俯仰组件和和用于测量俯仰角度的俯仰角度测量组件;偏摆机构包括偏摆组件和用于测量偏摆角度的偏摆角度测量组件;测距机构设置于控制机构上,测距机构能够随控制机构同步运动,测距机构用于测量特征点到测距机构的直线距离。本发明方法通过标定装置,获取现实场景中的特征点在同一坐标系下三维坐标,利用这些特征点来完成长焦相机的标定;由于特征点均来自现实场景,因此限制较小,而且这些特征点可以遍布相机的大部分画面,从而具有较好的标定结果。
-
公开(公告)号:CN116245940B
公开(公告)日:2024-04-05
申请号:CN202310052012.8
申请日:2023-02-02
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于结构差异感知的类别级六自由度物体位姿估计方法,包括:将深度图输入至目标检测分割网络进行识别,并根据识别结果得到物体实例的观测点云,并基于物体实例的观测点云选择目标物体对应的类别先验;提取观测点云和类别先验的特征,得到实例几何特征和类别几何特征;将实例几何特征和类别几何特征输入信息交互增强模块,得到增强的实例几何特征和类别几何特征;再通过所述语义动态融合模块进行语义和几何信息的融合,得到实例融合特征和类别融合特征;基于类别融合特征得到实例NOCS模型;通过匹配网络将实例NOCS模型和观测点云进行匹配,并根据相似性计算得到目标物体的6D位姿和大小。本发明能够提高6D位姿估计的准确性。
-
公开(公告)号:CN117710678A
公开(公告)日:2024-03-15
申请号:CN202311814465.6
申请日:2023-12-27
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V10/26 , G06V20/70 , G06V10/25 , G06V10/82 , G06V10/52 , G06T5/50 , G06N3/0464 , G06N3/045 , G06N3/0442 , G06N3/09
Abstract: 本发明涉及一种基于语义‑实例‑全景关联约束的全景分割方法,包括:接收待全景分割的图片;将待全景分割的图片输入至全景分割模型,得到全景分割结果;其中,全景分割模型包括:特征提取部分,用于对输入的图片进行多尺度的特征提取,得到语义多尺度特征和实例多尺度特征;门控编码模块,用于通过双向信息交互增强语义多尺度特征和实例多尺度特征,得到强化语义多尺度特征和强化实例多尺度特征;语义头模块,用于对强化语义多尺度特征进行预测,得到语义预测结果;实例头模块,用于对强化实例多尺度特征进行预测,得到实例预测结果;融合模块,用于将语义预测结果和实例预测结果进行融合得到全景分割结果。本发明提高了分割精度与效率。
-
公开(公告)号:CN117636283A
公开(公告)日:2024-03-01
申请号:CN202311620331.0
申请日:2023-11-30
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V20/56 , G06V10/80 , G06V10/764 , G06V10/40 , G06V10/774 , G06V10/776 , G06V10/82
Abstract: 本发明涉及一种基于环绕视角表征的含时序栅格占据率估计方法,包括:接收车辆周围相机传感器获取的多视角相机图像;将所述多视角相机图像输入至栅格占据率估计模型中,得到栅格占据率预测结果;其中,所述栅格占据率估计模型包括:特征提取模块,用于从所述多视角相机图像中提取出图像特征;环视角注意力模块,用于将提取出的图像特征按照方向映射到环视视角,得到环视视角特征;时序特征多重注意力模块,用于通过多重注意力机制对所述环视视角特征进行处理,得到包含历史信息的时序特征;预测模块,用于根据包含历史信息的时序特征进行预测,得到栅格占据率预测结果。本发明克服了正视图和侧视图在同一坐标包含多个特征的问题。
-
公开(公告)号:CN114998411B
公开(公告)日:2024-01-09
申请号:CN202210475411.0
申请日:2022-04-29
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种结合时空增强光度损失的自监督单目深度估计方法和装置,其中,方法包括:获取图像序列中相邻的若干帧图像;将所述图像输入至训练好的深度学习网络中得到深度信息和位姿信息,其中,所述深度学习网络的光度损失信息基于深度感知像素对应关系的空间变换模型得到,并利用全向自动掩膜来避免运动(56)对比文件詹雁.基于域适应的图像深度信息估计方法研究《.中国优秀硕士学位论文全文数据库信息科技辑》.2021,(第2021(04)期),I138-811.
-
公开(公告)号:CN113160321B
公开(公告)日:2023-12-26
申请号:CN202110196390.4
申请日:2021-02-22
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种实时图像序列的几何映射方法和装置,方法包括:建立原始图像序列和目标图像序列的按输出图像像素坐标顺序排列的输出顺序映射表;在不改变输出顺序映射表中映射对的内部对应关系的前提下,对映射对重新排序,将映射对按照原始图像的浮点坐标的整数部分顺序进行排列,排列的顺序与原始图像的像素输入的顺序一致,建立输入顺序定点映射表;根据输入顺序定点映射表中映射单元中对应的映射对的数量对输入顺序定点映射表进行压缩,建立输入顺序压缩映射表;在接入实时图像序列时对输入顺序压缩映射表进行读取和恢复,并执行映射操作。本发明能够在较低的硬件资源条件下以高实时性达到图像序列的几何映射的目的。
-
公开(公告)号:CN112308932B
公开(公告)日:2023-12-08
申请号:CN202011217737.0
申请日:2020-11-04
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本申请公开一种注视检测方法、装置、设备及存储介质,本申请通过获取目标相机采集的目标对象的基准图像和参考图像,以及目标相机的内外参;基于基准图像对应的像素坐标系,构建基准图像对应的头部坐标系;确定第一坐标转换关系;基于目标对象的双眼瞳孔中心在基准图像和参考图像各自对应的像素坐标系中的第一像素坐标、第二像素坐标,以及目标相机的内外参,确定目标对象的双眼瞳孔中心在基准图像对应的相机坐标系中的第一相机坐标;基于平均人脸模型和基准图像对应的头部坐标系确定目标对象的双眼眼球中心,以及目标对象的双眼眼球中心的第一头部坐标;确定基准图像对应的相机坐标系中的目标对象的视线方向和注视点,可以实现利用相机作为采集设备。(56)对比文件Li Sun et al..Real time gazeestimation with a consumer depthcamera.Information Sciences.2015,第320卷全文.宋金淼;王楠楠;王心瀚;段晓东.基于KINECT的人眼视线方向估测方法研究.大连民族大学学报.2017,(第03期),全文.
-
公开(公告)号:CN111402309B
公开(公告)日:2023-11-03
申请号:CN202010149137.9
申请日:2020-03-05
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明提供一种多目立体相机的校准及深度图像处理方法,包括:在多目相机设备中选取基准相机和待修正相机,并获取相应的基准相机图像和对待修正相机图像;根据所述基准相机图像和对待修正相机图像对所述待修正相机的内参量和外参量进行优化;得到最终的深度图像。本发明的方法利用匹配特征的深度计算结果实现对相机参量的优化,使多个深度图像的交界部分过渡平滑,可以根据优化的参量对未重合部分的深度图像进行进一步的精化调整,并且通过不同双目间的相互约束,保证最终深度结果一致性与稳定性。
-
公开(公告)号:CN116681759A
公开(公告)日:2023-09-01
申请号:CN202310419746.5
申请日:2023-04-19
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于自监督视觉惯性里程计的相机位姿估计方法,包括:获取多帧图像以及每两帧图像之间的IMU数据;将所述多帧图像和IMU数据输入至网络模型中,得到位姿变换信息和深度信息;其中,所述网络模型基于视惯融合里程计网络构建,在所述视惯融合里程计网络的IMU网络模块前增加基于自注意力机制尺度恢复模块;所述自注意力机制尺度恢复模块用于估计尺度信息。本发明能够提高里程计的准确性。
-
-
-
-
-
-
-
-
-