-
公开(公告)号:CN116681759A
公开(公告)日:2023-09-01
申请号:CN202310419746.5
申请日:2023-04-19
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于自监督视觉惯性里程计的相机位姿估计方法,包括:获取多帧图像以及每两帧图像之间的IMU数据;将所述多帧图像和IMU数据输入至网络模型中,得到位姿变换信息和深度信息;其中,所述网络模型基于视惯融合里程计网络构建,在所述视惯融合里程计网络的IMU网络模块前增加基于自注意力机制尺度恢复模块;所述自注意力机制尺度恢复模块用于估计尺度信息。本发明能够提高里程计的准确性。
-
公开(公告)号:CN116595139A
公开(公告)日:2023-08-15
申请号:CN202310515729.1
申请日:2023-05-09
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06F16/332 , G06F16/36 , G06F40/30 , G06F16/33 , G06F40/295
Abstract: 本发明涉及一种基于多模态知识图谱的智能问答方法,包括以下步骤:基于互联网的文本数据和图像数据构建多模态知识图谱;获取非结构化的自然语言问题,从所述自然语言问题中分析出语义信息,并基于所述语义信息生成查询语句,根据所述查询语句在所述多模态知识图谱中检索出最终答案。本发明能够促进不同模态知识的深层推理和实际应用。
-
公开(公告)号:CN116572286A
公开(公告)日:2023-08-11
申请号:CN202310524108.X
申请日:2023-05-09
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种并联式仿生眼的绝对位置获取装置,包括传感器部件;基板,固定于传感器部件的下方;转盘组件,包括依次设置的三个转盘,第一转盘的上方设有上固定基座,第三转盘的下方设有下固定基座,三个转盘可相对于上固定基座和下固定基座转动;三个连杆组件,基板通过其分别与三个转盘相连;电机组件,包括三个电机,穿过下固定基座而分别延伸进三个转盘内后分别与其转动连接;上固定基座上设有码盘,每个连杆组件上均设置有位置读取装置,其与码盘相配合以获得连杆组件的绝对位置信息。本发明的并联式仿生眼的绝对位置获取装置,通过一个码盘即可获得传感器部件的绝对位置信息,提升了传感器姿态估计精度,且避免初始化时设备卡死的问题。
-
公开(公告)号:CN116309698A
公开(公告)日:2023-06-23
申请号:CN202310038906.1
申请日:2023-01-11
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/246 , G06T5/00 , G06N3/045 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种基于运动特征弥补引导的多帧光流估计方法,包括以下步骤:提取至少连续两帧的输入图像的图像特征;基于相邻两帧的输入图像的图像特征,采用运动编码器得到初始运动特征;将初始运动特征和历史集成特征输入至MFC单元,所述MFC单元通过交叉注意力得到增强运动特征,并与初始运动特征合并得到集成特征;将所述集成特征输入至迭代模块进行迭代计算,得到最终光流。本发明可以大大改进光流估计在遮挡区域的性能。
-
公开(公告)号:CN111694965B
公开(公告)日:2023-06-13
申请号:CN202010478948.3
申请日:2020-05-29
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于多模态知识图谱的图像场景检索系统,通过用户界面输入检索信息并获取检索结果,包括:场景采集模块,设置为采集若干包含不同目标对象的图像场景;场景解析模块,设置为对采集的图像进行场景理解,得到不同目标对象及其之间的关系;多模态数据管理模块,设置为对目标对象及其之间的关系进行存储与查询;检索交互模块,设置为从检索信息提取关键词,并获取与关键词对应的节点信息,最后创建数据交换文件返回用户界面。本发明还提供一种基于多模态知识图谱的图像场景检索方法,能够降低存储涉及多幅图像场景结果的难度,简单直观且全面地展示出目标对象及其之间的关系。同时,本发明提高检索的准确性和场景检索的效率。
-
公开(公告)号:CN110929637B
公开(公告)日:2023-05-16
申请号:CN201911139594.3
申请日:2019-11-20
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V40/20
Abstract: 本申请涉及一种图像识别方法、装置、电子设备及存储介质,通过获取人体骨架图像序列;确定每帧人体骨架图像的骨架关节点集合中对应的相对坐标集合;基于相对坐标集合、骨架关节点的数量和人体骨架图像序列中图像的帧数确定相对坐标张量;确定多个帧间差分值集合;基于多个帧间差分值集合、骨架关节点的数量和人体骨架图像序列中图像的帧数确定时间差分张量;基于相对坐标张量和时间差分张量确定输入张量;基于已训练的动作识别模型对输入张量进行动作识别,得到人体骨架图像序列对应的动作类别。本申请利用人体骨架关节点信息来构建基于图卷积网络的动作识别模型的输入张量,进行动作识别,可以提升对人类动作识别的准确度。
-
公开(公告)号:CN111459872B
公开(公告)日:2023-05-12
申请号:CN202010324853.6
申请日:2020-04-22
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06F15/167 , G06F15/177
Abstract: 本发明提供一种多核并行计算的快速核间数据同步方法,包括:为每两个直接相连的核之间配置缓冲区和缓冲区数据结构,在每个缓冲区数据结构中设置缓冲区写入指示器和缓冲区读取指示器;初始化缓冲区写入指示器和缓冲区读取指示器;所有核同时执行读取核间数据和写入核间数据的步骤;重复进行读取核间数据和写入核间数据的步骤。本发明的方法同时配置了缓冲区写入指示器和缓冲区读取指示器,可以减少对预取器和数据缓存进行操作的次数,从而在保证数据正确传递的同时,提高了多核并行计算调度方法的效率。
-
公开(公告)号:CN115359122A
公开(公告)日:2022-11-18
申请号:CN202210998966.3
申请日:2022-08-19
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明提供一种基于均一型残差网络的空间位置关系检测方法,包括:使用均一型残差网络从图像的深度信息中提取深度信息特征;其中,均一型残差网络在下采样时输入和输出通道数不变;从物体标签、物体边界框提取第一类空间位置特征,从RGB图像中提取第二类空间位置特征;将所有深度信息特征、第一类空间位置特征和第二类空间位置特征都送入空间位置关系分类网络,以进行空间位置关系的检测。本发明的基于均一型残差网络的空间位置关系检测方法使用残差网络从图像深度信息中提取深度信息特征并设计了均一型残差网络,处理深度信息时神经网络在下采样的时候通道数保持不变,从而可以有效提高空间位置关系的检测精度。
-
公开(公告)号:CN113920405A
公开(公告)日:2022-01-11
申请号:CN202111344508.X
申请日:2021-11-12
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V10/774 , G06V40/16 , G06V40/20 , G06N20/00 , G06K9/62
Abstract: 本申请实施例所公开的一种头部姿态信息确定模型的训练方法、信息确定方法及装置,包括获取样本图像集,其中,样本图像集中每张样本图像携带有标注头部姿态信息,标注头部姿态信息是将对象的头部从正脸图位置转动至非正脸图位置得到的四元数信息,将样本图像集输入待训练模型,得到每张样本图像的预测头部姿态信息,并基于每张样本图像的标注头部姿态信息和预测头部姿态信息对待训练模型进行训练,得到头部姿态确定模型。基于本申请实施例使用四元数信息表征对象的头部姿态信息,可以规避采用欧拉角表征对象的头部姿态信息产生的歧义性问题。
-
公开(公告)号:CN113888567A
公开(公告)日:2022-01-04
申请号:CN202111230245.X
申请日:2021-10-21
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本申请实施例涉及计算机视觉技术领域,公开了一种图像分割模型的训练方法、图像分割方法及装置,通过在图像分割模型的现有结构基础上增设对象轮廓确定模型来确定预测轮廓信息,可以引导特征提取子模型学习对象轮廓,可以提升图像分割模型的分割精度。
-
-
-
-
-
-
-
-
-