-
公开(公告)号：CN111190981A
公开(公告)日：2020-05-22
申请号：CN201911354167.7
申请日：2019-12-25
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本申请涉及一种三维语义地图的构建方法、装置、电子设备及存储介质，该方法通过获取环境图像集合，并根据已训练的语义分割模型对环境图像集合进行语义分割，得到语义图像序列。将语义图像序列的每帧语义图像投射到预先建立的三维坐标系上，得到第一点云集合，第一点云集合中的第一点云对应每帧语义图像。对第一点云集合进行滤波，得到滤波后的第一点云集合；对滤波后的第一点云集合中的第一点云进行聚类处理，得到第二点云集合；对第二点云集合进行滤波，得到三维语义地图。本申请将彩色图像序列和深度图像序列结合作为语义分割模型的输入，如此，可以提升语义预测能力，且基于带语义的点云分层次地进行滤波，可以节约缓存、提升实时性。
-
公开(公告)号：CN120012916A
公开(公告)日：2025-05-16
申请号：CN202411944935.5
申请日：2024-12-27
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06N5/04
Abstract: 本发明涉及一种面向具身交互的情境化场景问答数据生成方法，包括以下步骤：获取目标场景数据；基于所述目标场景数据，利用描述模型生成对应的场景上下文描述；基于智能体在场景中的位置和朝向设定多个不同情景，并根据设定情景将所述场景上下文描述映射到智能体的第一视角，得到对应的情景上下文描述；基于所述目标场景数据，构建交互式问答采集系统来采集真实用户的问答数据；对所述情景上下文描述进行关键词拆分，并将拆分后的关键词作为真实用户参与交互问答过程中的先验提示。本发明能够生成更加符合人类的情境化场景以及具身智能的应用需求的问答数据，为增强智能体的推理能力和泛化能力提供更好的基础。
-
公开(公告)号：CN114973388B
公开(公告)日：2025-04-11
申请号：CN202210484547.8
申请日：2022-05-06
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种同时估计眼部视线和面部视线的视线估计方法，包括以下步骤：获取左眼图像、右眼图像和面部图像；分别对所述左眼图像、右眼图像和面部图像进行标准化坐标系处理；将标准化处理后的所述左眼图像、右眼图像和面部图像输入至视线评估模型，输出预测的眼部视线和面部视线；所述视线评估模型包括：特征提取层、特征信息转换层、第一特征交流层、第二特征交流层、第一全连接层和第二全连接层。本发明可以同时预测眼部视线和面部视线。
-
公开(公告)号：CN118351252A
公开(公告)日：2024-07-16
申请号：CN202410417649.7
申请日：2024-04-09
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于先验深度与高斯溅射模型融合的场景三维重建方法，包括：获取多视角下的场景图像；将多视角下的场景图像输入至场景三维重建模型中，完成场景的三维重建；其中，场景三维重建模型包括：单目深度估计网络与视觉里程计，用于基于多视角下的场景图像得到多视角下场景图像的稠密先验深度与相机位姿；点云生成模块，用于使用稠密先验深度与相机位姿生成世界坐标系下的空间点云，并将空间点云初始化为一组具有不透明度和球面谐波的三维高斯体；三维高斯优化模块，用于使用先验深度引导的自适应密度控制策略对三维高斯体的空间分布进行优化调整，完成场景的三维重建。本发明缓解观测数据不足导致的重建模糊问题。
-
公开(公告)号：CN118052841A
公开(公告)日：2024-05-17
申请号：CN202410070464.3
申请日：2024-01-18
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/20 , G06T7/10 , G06T7/50 , G06N3/0499 , G06N3/08
Abstract: 本发明涉及一种融合语义的无监督深度估计与视觉里程计方法和系统，其中，方法包括：接收视频序列；将所述视频序列输入至预测模型，得到预测结果；其中，所述预测模型包括：深度估计子网络，用于估计输入的目标图像对应的深度图；位姿估计子网络，用于估计输入的目标图像和源图像之间的相对位姿；语义分割子网络，用于对输入的目标图像和重建目标图像进行语义分割，得到用于构造语义重投影损失的目标图像语义分割结果和重建目标图像语义分割结果；语义掩码模块，用于根据目标图像语义分割结果构造语义掩码；重投影模块，用于根据深度图、相对位姿和语义掩码对源图像进行重投影操作，得到重建目标图像。本发明能够增强重投影损失的效用。
-
Patent Agency Ranking
公开(公告)号：CN118037801A
公开(公告)日：2024-05-14
申请号：CN202410109880.X
申请日：2024-01-25
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种双目图像的立体匹配方法，包括以下步骤：获取双目图像；采用立体匹配模型对所述双目图像进行分析获得视差估计；所述立体匹配模型包括：视差估计网络，用来提取所述双目图像的多尺度双目融合特征，并根据所述双目融合特征预测视差估计；光谱转换网络，用来分别提取所述双目图像不同视角的多尺度单目特征进而生成单目伪图像，且在任一尺度的多尺度单目特征提取后嵌入特征交互模块对所述任一尺度的所述单目特征进行优化；所述视差估计网络和所述光谱转换网络通过所述单目伪图像和所述视差估计来调整网络参数。本发明能够增强图像域差异较大区域的特征感知，获得更为精确的立体匹配结果。
-
公开(公告)号：CN112967228B
公开(公告)日：2024-04-26
申请号：CN202110146441.2
申请日：2021-02-02
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06F7/00
Abstract: 本发明涉及一种目标光流信息的确定方法、装置、电子设备及存储介质，其中，方法包括分别确定目标图像与相邻两帧图像间的光流信息集以及目标图像与相邻两帧图像对应的相机位姿信息集，根据光流信息集和相机位姿信息集，确定目标图像中对象对应的位置信息集，根据相机位姿信息集和位置信息集，确定对象在相邻两帧图像中的第一映射信息集，根据位置信息集，确定对象在目标图像中的第二映射信息集，根据光流信息集、第一映射信息集和第二映射信息集，确定目标光流信息。基于本发明实施例可以提高确定运动物体的位置信息的精确度，还可以提高确定物体运动状态的准确性。
-
公开(公告)号：CN112419361B
公开(公告)日：2024-04-05
申请号：CN202011308457.0
申请日：2020-11-20
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本申请涉及一种目标追踪方法和仿生视觉装置，该方法包括：获取当前帧的第一图像；第一图像是通过仿生视觉成像单元得到的；对第一图像进行对象位置检测，得到第一图像中对象的第一位置信息；基于第一位置信息确定第一追踪区域和特征区域；在下一帧的第一图像中，确定与第一追踪区域相匹配的第一目标追踪区域；基于特征区域对第一目标追踪区域进行目标检测，得到下一帧的第一图像中对象的第一目标位置信息。本申请通过对采集的图像进行处理来模拟相机视线的变化，实现目标的追踪，不需要设置云台，如此可以降低装置成本，同时可以简化三维感知运算过程。
-
公开(公告)号：CN112766097B
公开(公告)日：2024-02-13
申请号：CN202110015600.5
申请日：2021-01-06
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V20/40 , G06V10/774 , G06V10/764 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种视线识别模型的训练方法、视线识别方法、装置及设备，方法包括获取样本图像集，样本图像集包括含有第一区域和第二区域的样本图像，将样本图像输入预设机器学习模型，进行视线识别处理，得到第一区域对应的第一视线信息以及第二区域对应的第二视线信息，基于第一视线信息，确定第二区域对应的第三视线信息，基于第二视线信息和第三视线信息，确定第一损失信息，根据第一损失信息，确定损失信息，基于损失信息调整预设机器学习模型中的模型参数，至损失信息满足预设条件，将满足预设条件时的预设机器学习模型作为视线识别模(56)对比文件Zhang Xiao lin等.CooperativeMovements of Binocular Motor System.2008IEEE International Conference onAutomation Science and Engineering.2008,第321-327页.张晓林.仿生双眼的立体视控制系统.电子设计工程.2018,第26卷(第6期),第1-6页.房爱青.基于视线跟踪的人机交互感知机制的研究.中国优秀硕士学位论文全文数据库 信息科技辑.2018,(第12期),第I138-1364页.Andronicus A. Akinyelu等.Convolutional Neural Network-BasedMethods for Eye Gaze Estimation: ASurvey.IEEE Access.2020,第8卷第142581-142605页.
-
公开(公告)号：CN113624228B
公开(公告)日：2024-01-26
申请号：CN202110843322.2
申请日：2021-07-26
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种图像传感器和加速度计的同步标定装置及方法，装置包括：托架，用于放置加速度计和图像传感器；复合弹簧机构，一端与托架刚性相连，另一端与基座上的固定端相连，与托架配合形成弹簧振子；平面刻度，水平放置使得图像传感器在运动过程中能够获取平面刻度的图像；数据采集模块，用于记录加速度计的基准时间和图像传感器的图像时间戳，同时获取托架重心的位移数据和加速度数据，并建立位移数据与图像时间戳的对应关系以及加速度数据与加速度计基准时间的对应关系；计算模块，用于拟合位移函数和加速度函数，并基于拟合函数及相位差关系建立图像传感器与加速度计之间
-
-
-
-
-
-
-
-
-
Search Results
119
records
(took 0.078 seconds)
