-
公开(公告)号:CN117495919B
公开(公告)日:2024-11-29
申请号:CN202311561532.8
申请日:2023-11-22
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于遮挡物体检测及运动连续性的光流估计方法,包括:接收连续的两帧图像;将连续的两帧图像输入至光流估计模型中,得到光流估计值;其中,光流估计模型包括:特征提取部分提取连续的两帧图像的图像特征和上下文特征;匹配部分基于连续的两帧图像的图像特征计算相关像素点匹配,得到4D代价体;遮挡点估计部分对4D代价体进行特征相似度判断函数处理并通过卷积网络得到遮挡点;关联优化部分根据遮挡点估计出潜在匹配位置,并与4D代价体给出的位置计算对比整合,得到优化后的4D代价体;迭代优化部分根据优化后的4D代价体与上下文特征进行迭代优化,得到光流估计值。本发明能够提升光流估计精度。
-
公开(公告)号:CN113822172B
公开(公告)日:2024-06-14
申请号:CN202111017499.3
申请日:2021-08-30
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明提供一种视频时空行为检测方法,包括:截取视频图像;检测视频片段中间帧中的所有可能的目标对象及其边框信息,以及提取视频上下文特征和目标对象特征;获取目标对象特征对于上下文特征的依赖,根据依赖更新目标对象特征;根据目标对象特征的最终结果值生成多个行为特征形成的集合;获取各行为特征间的依赖,根据依赖更新行为特征集合;利用行为特征的更新值预测每个目标对象的各行为概率。本发明的视频时空行为检测方法通过获取上下文依赖来更新更新目标对象特征,并且利用行为特征之间的依赖更新行为特征集合,可以提高视频行为检测的准确率。
-
公开(公告)号:CN111882613B
公开(公告)日:2024-06-14
申请号:CN202010723128.6
申请日:2020-07-24
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明基于边缘语义的视觉里程计方法、装置、存储介质及设备。所述基于边缘语义的视觉里程计方法包括:提取图像序列的边缘特征和语义信息,并分别对这二者进行距离变换,以得到边缘距离残差和语义距离残差;利用所述语义距离残差对所述边缘距离残差进行约束,并联合非线性优化的边缘距离误差和语义距离误差估计相机的相对运动。本发明联合优化边缘和语义距离误差的边缘语义视觉里程计,能够充分利用语义信息来提升运动估计的鲁棒性和精确性。
-
公开(公告)号:CN118115512A
公开(公告)日:2024-05-31
申请号:CN202410196044.X
申请日:2024-02-22
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种抠图方法及装置。其中,方法包括以下步骤:获取目标图像的mask图;基于所述mask图,生成所述目标图像的初始alpha图;对所述初始alpha图进行上采样操作;根据上采样操作后的所述初始alpha图中各像素点的alpha值划分前景区域、未知区域和背景区域,获得trimap图;将所述目标图像和所述trimap图输入抠图模型,得到所述目标图像的alpha图。本发明能够生成精确的trimap图,进而提高自然图像抠图方法的实用性,获取高质量的抠图。
-
公开(公告)号:CN118052842A
公开(公告)日:2024-05-17
申请号:CN202410070469.6
申请日:2024-01-18
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/20 , G06T7/55 , G06T7/70 , G06N3/0464 , G06N3/088
Abstract: 本发明涉及一种基于无纹理加权模块的无监督视觉里程计方法和系统,其中,方法包括:接收单目视频序列;将单目视频序列输入至预测模型,得到预测结果;其中,预测模型包括:深度估计子网络,用于估计输入的目标图像对应的深度图;位姿估计子网络,用于估计输入的目标图像和源图像之间的相对位姿;重投影模块,用于根据深度图和相对位姿对源图像进行重投影操作,得到重建目标图像;无纹理加权模块,用于对目标图像和重建目标图像中无纹理区域的每个像素点赋予不同权重,得到用于构造重投影损失的加权目标图像和加权重建目标图像。本发明能够减少场景中无纹理区域对无监督视觉里程计中重投影损失的影响。
-
公开(公告)号:CN112288824B
公开(公告)日:2024-04-12
申请号:CN202011165184.9
申请日:2020-10-27
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明公开了一种基于现实场景的长焦相机标定装置及标定方法,所述装置包括测距机构和控制机构;控制机构包括俯仰机构和偏摆机构,俯仰机构设于偏摆机构的上方,俯仰机构包括俯仰组件和和用于测量俯仰角度的俯仰角度测量组件;偏摆机构包括偏摆组件和用于测量偏摆角度的偏摆角度测量组件;测距机构设置于控制机构上,测距机构能够随控制机构同步运动,测距机构用于测量特征点到测距机构的直线距离。本发明方法通过标定装置,获取现实场景中的特征点在同一坐标系下三维坐标,利用这些特征点来完成长焦相机的标定;由于特征点均来自现实场景,因此限制较小,而且这些特征点可以遍布相机的大部分画面,从而具有较好的标定结果。
-
公开(公告)号:CN116245940B
公开(公告)日:2024-04-05
申请号:CN202310052012.8
申请日:2023-02-02
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于结构差异感知的类别级六自由度物体位姿估计方法,包括:将深度图输入至目标检测分割网络进行识别,并根据识别结果得到物体实例的观测点云,并基于物体实例的观测点云选择目标物体对应的类别先验;提取观测点云和类别先验的特征,得到实例几何特征和类别几何特征;将实例几何特征和类别几何特征输入信息交互增强模块,得到增强的实例几何特征和类别几何特征;再通过所述语义动态融合模块进行语义和几何信息的融合,得到实例融合特征和类别融合特征;基于类别融合特征得到实例NOCS模型;通过匹配网络将实例NOCS模型和观测点云进行匹配,并根据相似性计算得到目标物体的6D位姿和大小。本发明能够提高6D位姿估计的准确性。
-
公开(公告)号:CN112418296B
公开(公告)日:2024-04-02
申请号:CN202011298898.7
申请日:2020-11-18
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V20/00 , G06V10/764 , G06V10/82 , G06V10/80 , G06V10/25 , G06T7/246 , G06F40/289 , G10L15/26
Abstract: 本发明涉及一种基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法,包括:仿生双眼装置对当前场景进行检测;构建实例级分割网络、和显著性注视点检测网络以及人体姿态检测网络;将当前场景的图像信息输入所述实例级分割网络,得到当前场景下的实例级分割结果图;尝试基于当前场景中的语音信息、人体姿态检测网络和显著性注视点检测网络获取显著性注视点区域的掩码图;将显著性注视点区域的掩码图与实例级分割结果图相对准,获取当前场景中的显著性目标及其实例级类别和轮廓,仿生双眼装置对该显著性目标进行追踪。本发明提高了跟踪切换鲁棒性,能使最终结果更精确,也更贴近人眼视觉机制。
-
公开(公告)号:CN117710678A
公开(公告)日:2024-03-15
申请号:CN202311814465.6
申请日:2023-12-27
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V10/26 , G06V20/70 , G06V10/25 , G06V10/82 , G06V10/52 , G06T5/50 , G06N3/0464 , G06N3/045 , G06N3/0442 , G06N3/09
Abstract: 本发明涉及一种基于语义‑实例‑全景关联约束的全景分割方法,包括:接收待全景分割的图片;将待全景分割的图片输入至全景分割模型,得到全景分割结果;其中,全景分割模型包括:特征提取部分,用于对输入的图片进行多尺度的特征提取,得到语义多尺度特征和实例多尺度特征;门控编码模块,用于通过双向信息交互增强语义多尺度特征和实例多尺度特征,得到强化语义多尺度特征和强化实例多尺度特征;语义头模块,用于对强化语义多尺度特征进行预测,得到语义预测结果;实例头模块,用于对强化实例多尺度特征进行预测,得到实例预测结果;融合模块,用于将语义预测结果和实例预测结果进行融合得到全景分割结果。本发明提高了分割精度与效率。
-
公开(公告)号:CN117636283A
公开(公告)日:2024-03-01
申请号:CN202311620331.0
申请日:2023-11-30
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V20/56 , G06V10/80 , G06V10/764 , G06V10/40 , G06V10/774 , G06V10/776 , G06V10/82
Abstract: 本发明涉及一种基于环绕视角表征的含时序栅格占据率估计方法,包括:接收车辆周围相机传感器获取的多视角相机图像;将所述多视角相机图像输入至栅格占据率估计模型中,得到栅格占据率预测结果;其中,所述栅格占据率估计模型包括:特征提取模块,用于从所述多视角相机图像中提取出图像特征;环视角注意力模块,用于将提取出的图像特征按照方向映射到环视视角,得到环视视角特征;时序特征多重注意力模块,用于通过多重注意力机制对所述环视视角特征进行处理,得到包含历史信息的时序特征;预测模块,用于根据包含历史信息的时序特征进行预测,得到栅格占据率预测结果。本发明克服了正视图和侧视图在同一坐标包含多个特征的问题。
-
-
-
-
-
-
-
-
-