-
公开(公告)号:CN112308932B
公开(公告)日:2023-12-08
申请号:CN202011217737.0
申请日:2020-11-04
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本申请公开一种注视检测方法、装置、设备及存储介质,本申请通过获取目标相机采集的目标对象的基准图像和参考图像,以及目标相机的内外参;基于基准图像对应的像素坐标系,构建基准图像对应的头部坐标系;确定第一坐标转换关系;基于目标对象的双眼瞳孔中心在基准图像和参考图像各自对应的像素坐标系中的第一像素坐标、第二像素坐标,以及目标相机的内外参,确定目标对象的双眼瞳孔中心在基准图像对应的相机坐标系中的第一相机坐标;基于平均人脸模型和基准图像对应的头部坐标系确定目标对象的双眼眼球中心,以及目标对象的双眼眼球中心的第一头部坐标;确定基准图像对应的相机坐标系中的目标对象的视线方向和注视点,可以实现利用相机作为采集设备。(56)对比文件Li Sun et al..Real time gazeestimation with a consumer depthcamera.Information Sciences.2015,第320卷全文.宋金淼;王楠楠;王心瀚;段晓东.基于KINECT的人眼视线方向估测方法研究.大连民族大学学报.2017,(第03期),全文.
-
公开(公告)号:CN111402309B
公开(公告)日:2023-11-03
申请号:CN202010149137.9
申请日:2020-03-05
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明提供一种多目立体相机的校准及深度图像处理方法,包括:在多目相机设备中选取基准相机和待修正相机,并获取相应的基准相机图像和对待修正相机图像;根据所述基准相机图像和对待修正相机图像对所述待修正相机的内参量和外参量进行优化;得到最终的深度图像。本发明的方法利用匹配特征的深度计算结果实现对相机参量的优化,使多个深度图像的交界部分过渡平滑,可以根据优化的参量对未重合部分的深度图像进行进一步的精化调整,并且通过不同双目间的相互约束,保证最终深度结果一致性与稳定性。
-
公开(公告)号:CN116804992A
公开(公告)日:2023-09-26
申请号:CN202310615575.3
申请日:2023-05-29
Applicant: 中国科学院上海微系统与信息技术研究所 , 安徽爱观视觉科技有限公司
IPC: G06F16/26 , G06Q10/063 , G06F16/24
Abstract: 本发明涉及一种物资可视化管理的系统,包括图像解析模块,用来对系统图像进行解析得到物资点位信息;数据服务模块,用来获取外部数据进行数据标准化处理后存入物资信息数据库;业务逻辑模块,用来查询所述物资信息数据库获得相应的物资信息数据,并将所述物资信息数据与物资点位信息整合后通过图像展示模块进行展示。本发明解决了物资设备管理靠人工记忆、在装设备管理缺失、物资管理链条存在断档、无法适应新业务需求等物资管理问题,具有可操作性强、成本低、过程便捷等特点。
-
公开(公告)号:CN116681759A
公开(公告)日:2023-09-01
申请号:CN202310419746.5
申请日:2023-04-19
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于自监督视觉惯性里程计的相机位姿估计方法,包括:获取多帧图像以及每两帧图像之间的IMU数据;将所述多帧图像和IMU数据输入至网络模型中,得到位姿变换信息和深度信息;其中,所述网络模型基于视惯融合里程计网络构建,在所述视惯融合里程计网络的IMU网络模块前增加基于自注意力机制尺度恢复模块;所述自注意力机制尺度恢复模块用于估计尺度信息。本发明能够提高里程计的准确性。
-
公开(公告)号:CN116595139A
公开(公告)日:2023-08-15
申请号:CN202310515729.1
申请日:2023-05-09
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06F16/332 , G06F16/36 , G06F40/30 , G06F16/33 , G06F40/295
Abstract: 本发明涉及一种基于多模态知识图谱的智能问答方法,包括以下步骤:基于互联网的文本数据和图像数据构建多模态知识图谱;获取非结构化的自然语言问题,从所述自然语言问题中分析出语义信息,并基于所述语义信息生成查询语句,根据所述查询语句在所述多模态知识图谱中检索出最终答案。本发明能够促进不同模态知识的深层推理和实际应用。
-
公开(公告)号:CN116572286A
公开(公告)日:2023-08-11
申请号:CN202310524108.X
申请日:2023-05-09
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种并联式仿生眼的绝对位置获取装置,包括传感器部件;基板,固定于传感器部件的下方;转盘组件,包括依次设置的三个转盘,第一转盘的上方设有上固定基座,第三转盘的下方设有下固定基座,三个转盘可相对于上固定基座和下固定基座转动;三个连杆组件,基板通过其分别与三个转盘相连;电机组件,包括三个电机,穿过下固定基座而分别延伸进三个转盘内后分别与其转动连接;上固定基座上设有码盘,每个连杆组件上均设置有位置读取装置,其与码盘相配合以获得连杆组件的绝对位置信息。本发明的并联式仿生眼的绝对位置获取装置,通过一个码盘即可获得传感器部件的绝对位置信息,提升了传感器姿态估计精度,且避免初始化时设备卡死的问题。
-
公开(公告)号:CN116338398A
公开(公告)日:2023-06-27
申请号:CN202310419752.0
申请日:2023-04-19
Applicant: 中国科学院上海微系统与信息技术研究所 , 安徽爱观视觉科技有限公司
Abstract: 本发明涉及一种基于双目立体视觉的弓网燃弧强度检测装置和方法,其中,装置包括:双目相机,用于从不同的角度同时对目标区域进行拍摄,获取目标区域图像;紫外探测装置,用于检测弓网燃弧产生的紫外光并将紫外光信号转换为电压信号;处理器,包括:图像处理模块,用于对所述目标区域图像进行处理,得到燃弧所在位置及对应三维坐标;计算模块,用于基于燃弧所在位置及对应三维坐标和所述紫外探测装置得到的电压信号计算燃弧强度。本发明可以有效地检测燃弧强度值,实现准确地判断接触线和碳滑板的损伤状况和对应的危害预警等级。
-
公开(公告)号:CN116309698A
公开(公告)日:2023-06-23
申请号:CN202310038906.1
申请日:2023-01-11
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/246 , G06T5/00 , G06N3/045 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种基于运动特征弥补引导的多帧光流估计方法,包括以下步骤:提取至少连续两帧的输入图像的图像特征;基于相邻两帧的输入图像的图像特征,采用运动编码器得到初始运动特征;将初始运动特征和历史集成特征输入至MFC单元,所述MFC单元通过交叉注意力得到增强运动特征,并与初始运动特征合并得到集成特征;将所述集成特征输入至迭代模块进行迭代计算,得到最终光流。本发明可以大大改进光流估计在遮挡区域的性能。
-
公开(公告)号:CN111694965B
公开(公告)日:2023-06-13
申请号:CN202010478948.3
申请日:2020-05-29
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于多模态知识图谱的图像场景检索系统,通过用户界面输入检索信息并获取检索结果,包括:场景采集模块,设置为采集若干包含不同目标对象的图像场景;场景解析模块,设置为对采集的图像进行场景理解,得到不同目标对象及其之间的关系;多模态数据管理模块,设置为对目标对象及其之间的关系进行存储与查询;检索交互模块,设置为从检索信息提取关键词,并获取与关键词对应的节点信息,最后创建数据交换文件返回用户界面。本发明还提供一种基于多模态知识图谱的图像场景检索方法,能够降低存储涉及多幅图像场景结果的难度,简单直观且全面地展示出目标对象及其之间的关系。同时,本发明提高检索的准确性和场景检索的效率。
-
公开(公告)号:CN110929637B
公开(公告)日:2023-05-16
申请号:CN201911139594.3
申请日:2019-11-20
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V40/20
Abstract: 本申请涉及一种图像识别方法、装置、电子设备及存储介质,通过获取人体骨架图像序列;确定每帧人体骨架图像的骨架关节点集合中对应的相对坐标集合;基于相对坐标集合、骨架关节点的数量和人体骨架图像序列中图像的帧数确定相对坐标张量;确定多个帧间差分值集合;基于多个帧间差分值集合、骨架关节点的数量和人体骨架图像序列中图像的帧数确定时间差分张量;基于相对坐标张量和时间差分张量确定输入张量;基于已训练的动作识别模型对输入张量进行动作识别,得到人体骨架图像序列对应的动作类别。本申请利用人体骨架关节点信息来构建基于图卷积网络的动作识别模型的输入张量,进行动作识别,可以提升对人类动作识别的准确度。
-
-
-
-
-
-
-
-
-