-
公开(公告)号:CN116595139A
公开(公告)日:2023-08-15
申请号:CN202310515729.1
申请日:2023-05-09
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06F16/332 , G06F16/36 , G06F40/30 , G06F16/33 , G06F40/295
Abstract: 本发明涉及一种基于多模态知识图谱的智能问答方法,包括以下步骤:基于互联网的文本数据和图像数据构建多模态知识图谱;获取非结构化的自然语言问题,从所述自然语言问题中分析出语义信息,并基于所述语义信息生成查询语句,根据所述查询语句在所述多模态知识图谱中检索出最终答案。本发明能够促进不同模态知识的深层推理和实际应用。
-
公开(公告)号:CN116338398A
公开(公告)日:2023-06-27
申请号:CN202310419752.0
申请日:2023-04-19
Applicant: 中国科学院上海微系统与信息技术研究所 , 安徽爱观视觉科技有限公司
Abstract: 本发明涉及一种基于双目立体视觉的弓网燃弧强度检测装置和方法,其中,装置包括:双目相机,用于从不同的角度同时对目标区域进行拍摄,获取目标区域图像;紫外探测装置,用于检测弓网燃弧产生的紫外光并将紫外光信号转换为电压信号;处理器,包括:图像处理模块,用于对所述目标区域图像进行处理,得到燃弧所在位置及对应三维坐标;计算模块,用于基于燃弧所在位置及对应三维坐标和所述紫外探测装置得到的电压信号计算燃弧强度。本发明可以有效地检测燃弧强度值,实现准确地判断接触线和碳滑板的损伤状况和对应的危害预警等级。
-
公开(公告)号:CN116309698A
公开(公告)日:2023-06-23
申请号:CN202310038906.1
申请日:2023-01-11
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/246 , G06T5/00 , G06N3/045 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种基于运动特征弥补引导的多帧光流估计方法,包括以下步骤:提取至少连续两帧的输入图像的图像特征;基于相邻两帧的输入图像的图像特征,采用运动编码器得到初始运动特征;将初始运动特征和历史集成特征输入至MFC单元,所述MFC单元通过交叉注意力得到增强运动特征,并与初始运动特征合并得到集成特征;将所述集成特征输入至迭代模块进行迭代计算,得到最终光流。本发明可以大大改进光流估计在遮挡区域的性能。
-
公开(公告)号:CN113920405A
公开(公告)日:2022-01-11
申请号:CN202111344508.X
申请日:2021-11-12
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V10/774 , G06V40/16 , G06V40/20 , G06N20/00 , G06K9/62
Abstract: 本申请实施例所公开的一种头部姿态信息确定模型的训练方法、信息确定方法及装置,包括获取样本图像集,其中,样本图像集中每张样本图像携带有标注头部姿态信息,标注头部姿态信息是将对象的头部从正脸图位置转动至非正脸图位置得到的四元数信息,将样本图像集输入待训练模型,得到每张样本图像的预测头部姿态信息,并基于每张样本图像的标注头部姿态信息和预测头部姿态信息对待训练模型进行训练,得到头部姿态确定模型。基于本申请实施例使用四元数信息表征对象的头部姿态信息,可以规避采用欧拉角表征对象的头部姿态信息产生的歧义性问题。
-
公开(公告)号:CN113888567A
公开(公告)日:2022-01-04
申请号:CN202111230245.X
申请日:2021-10-21
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本申请实施例涉及计算机视觉技术领域,公开了一种图像分割模型的训练方法、图像分割方法及装置,通过在图像分割模型的现有结构基础上增设对象轮廓确定模型来确定预测轮廓信息,可以引导特征提取子模型学习对象轮廓,可以提升图像分割模型的分割精度。
-
公开(公告)号:CN112967228A
公开(公告)日:2021-06-15
申请号:CN202110146441.2
申请日:2021-02-02
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种目标光流信息的确定方法、装置、电子设备及存储介质,其中,方法包括分别确定目标图像与相邻两帧图像间的光流信息集以及目标图像与相邻两帧图像对应的相机位姿信息集,根据光流信息集和相机位姿信息集,确定目标图像中对象对应的位置信息集,根据相机位姿信息集和位置信息集,确定对象在相邻两帧图像中的第一映射信息集,根据位置信息集,确定对象在目标图像中的第二映射信息集,根据光流信息集、第一映射信息集和第二映射信息集,确定目标光流信息。基于本发明实施例可以提高确定运动物体的位置信息的精确度,还可以提高确定物体运动状态的准确性。
-
公开(公告)号:CN112966584A
公开(公告)日:2021-06-15
申请号:CN202110223264.3
申请日:2021-02-26
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种运动感知模型的训练方法、装置、电子设备及存储介质,包括获取训练图像组集合和每一训练图像组对应的标签光流信息,对每一训练图像组进行特征提取处理,确定多个目标特征图集,从每一目标特征图集中,确定每一训练图像组对应的预测光流信息,根据标签光流信息和预测光流信息,确定每一目标特征图集对应的损失信息,基于每一目标特征图集对应的损失信息对当前机器学习模型的参数进行调整,当对当前机器学习模型的参数进行调整的次数大于预设阈值时,将当前机器学习模型确定为运动感知模型,将损失信息对应的模型参数确定为运动感知模型的参数。本申请可以监督中间的特征层的采样所得到感知信息,提高模型输出的运动状态的精确性。
-
公开(公告)号:CN112288824A
公开(公告)日:2021-01-29
申请号:CN202011165184.9
申请日:2020-10-27
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/80
Abstract: 本发明公开了一种基于现实场景的长焦相机标定装置及标定方法,所述装置包括测距机构和控制机构;控制机构包括俯仰机构和偏摆机构,俯仰机构设于偏摆机构的上方,俯仰机构包括俯仰组件和和用于测量俯仰角度的俯仰角度测量组件;偏摆机构包括偏摆组件和用于测量偏摆角度的偏摆角度测量组件;测距机构设置于控制机构上,测距机构能够随控制机构同步运动,测距机构用于测量特征点到测距机构的直线距离。本发明方法通过标定装置,获取现实场景中的特征点在同一坐标系下三维坐标,利用这些特征点来完成长焦相机的标定;由于特征点均来自现实场景,因此限制较小,而且这些特征点可以遍布相机的大部分画面,从而具有较好的标定结果。
-
公开(公告)号:CN111882613A
公开(公告)日:2020-11-03
申请号:CN202010723128.6
申请日:2020-07-24
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明基于边缘语义的视觉里程计方法、装置、存储介质及设备。所述基于边缘语义的视觉里程计方法包括:提取图像序列的边缘特征和语义信息,并分别对这二者进行距离变换,以得到边缘距离残差和语义距离残差;利用所述语义距离残差对所述边缘距离残差进行约束,并联合非线性优化的边缘距离误差和语义距离误差估计相机的相对运动。本发明联合优化边缘和语义距离误差的边缘语义视觉里程计,能够充分利用语义信息来提升运动估计的鲁棒性和精确性。
-
公开(公告)号:CN111724439A
公开(公告)日:2020-09-29
申请号:CN201911200881.0
申请日:2019-11-29
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及机器人导航定位技术领域,具体是一种动态场景下的视觉定位方法及装置,所述方法包括:获取当前帧图像,提取所述当前帧图像的特征点;将所述当前帧图像输入预设深度学习网络进行语义分割,得到目标语义图像;根据所述目标语义图像确定所述当前帧图像的运动掩模区域;获取所述当前帧图像的深度信息;基于所述目标语义图像和所述深度信息进行运动一致性检测,确定所述当前帧图像的静态特征点集合;根据所述静态特征点集合确定当前状态位姿信息。本发明通过语义分割结果和深度信息进行运动一致性检测,确定图像的静态特征点集合,能够有效提高在动态环境中对位姿估计的精确性和鲁棒性。
-
-
-
-
-
-
-
-
-