-
公开(公告)号:CN119567244A
公开(公告)日:2025-03-07
申请号:CN202411526399.7
申请日:2024-10-30
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种模拟眼球交互式视线的生成方法及装置。其中,生成方法包括以下步骤:通过位置传感器获取交互目标的位置,得到交互目标在第一坐标系的坐标Po;根据位置传感器与模拟眼球的位置关系推导第一坐标系与第二坐标系的坐标转换关系,进而基于所述左边转换关系将坐标Po转换为交互目标在第二坐标系的坐标P1;获取各个模拟眼球的视点在第二坐标系的坐标Oi,其中i代表模拟眼球的序号;根据坐标Oi和坐标P1计算获得各个模拟眼球的交互式视线朝向Di。本发明能够准确获得目标与眼球的相对位置并生成交互式视线,使模拟眼球在交互时更加自然。
-
公开(公告)号:CN116309698B
公开(公告)日:2024-06-11
申请号:CN202310038906.1
申请日:2023-01-11
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/246 , G06T5/00 , G06N3/045 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种基于运动特征弥补引导的多帧光流估计方法,包括以下步骤:提取至少连续两帧的输入图像的图像特征;基于相邻两帧的输入图像的图像特征,采用运动编码器得到初始运动特征;将初始运动特征和历史集成特征输入至MFC单元,所述MFC单元通过交叉注意力得到增强运动特征,并与初始运动特征合并得到集成特征;将所述集成特征输入至迭代模块进行迭代计算,得到最终光流。本发明可以大大改进光流估计在遮挡区域的性能。
-
公开(公告)号:CN118038133A
公开(公告)日:2024-05-14
申请号:CN202410067260.4
申请日:2024-01-17
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V10/764 , G06V10/40 , G06V10/774 , G06V10/80 , G06N3/0464
Abstract: 本发明涉及一种基于多层级分类分支的目标检测方法及系统。其中的目标检测方法包括以下步骤:获取待测样本;利用基于多层级分类分支的目标检测模型对所述待测样本进行检测,获得目标检测结果;所述基于多层级分类分支的目标检测模型包括:特征提取模块,用来提取所述待测样本的特征向量;特征融合模块,用来对所述特征向量进行特征融合获得融合特征向量;预测模块,用来根据所述融合特征向量生成目标检测框和与所述目标检测框对应的多个层级的分类结果,并将所述多个层级的分类结果进行融合计算得到最终分类结果。在现有深度学习的目标检测网络的基础上,通过增加多层级分类分支预测结果的融合计算,有效提升其分类及识别能力。
-
公开(公告)号:CN112966584B
公开(公告)日:2024-04-19
申请号:CN202110223264.3
申请日:2021-02-26
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V10/82 , G06V10/44 , G06V10/774 , G06V40/20 , G06T7/269 , G06N3/0464 , G06N3/09
Abstract: 本发明涉及一种运动感知模型的训练方法、装置、电子设备及存储介质,包括获取训练图像组集合和每一训练图像组对应的标签光流信息,对每一训练图像组进行特征提取处理,确定多个目标特征图集,从每一目标特征图集中,确定每一训练图像组对应的预测光流信息,根据标签光流信息和预测光流信息,确定每一目标特征图集对应的损失信息,基于每一目标特征图集对应的损失信息对当前机器学习模型的参数进行调整,当对当前机器学习模型的参数进行调整的次数大于预设阈值时,将当前机器学习模型确定为运动感知模型,将损失信息对应的模型参数确定为运动感知模型的参数。本申请可以监督中间的特征层的采样所得到感知信息,提高模型输出的运动状态的精确性。
-
公开(公告)号:CN117636282A
公开(公告)日:2024-03-01
申请号:CN202311620329.3
申请日:2023-11-30
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V20/56 , G06V10/80 , G06V10/764 , G06V10/40 , G06V10/774 , G06V10/776 , G06V10/82
Abstract: 本发明涉及一种基于多重约束的栅格占据率估计方法、设备及介质,方法包括:接收车辆周围相机传感器获取的多视角相机图像;将多视角相机图像输入至栅格占据率估计模型中,得到栅格占据率预测结果;其中,栅格占据率估计模型增加了对每个视角的二维重投影监督,能够有效约束对侧不同物体的特征,还设计了基于物体一致性的空间约束,利用周围体素对处理后的当前体素进行语义标注的影响,解决预测三维结果中的异常值问题。本发明能有效提高算法精度及运算速度,提高了栅格占据率的估计效果。
-
公开(公告)号:CN116681759B
公开(公告)日:2024-02-23
申请号:CN202310419746.5
申请日:2023-04-19
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于自监督视觉惯性里程计的相机位姿估计方法,包括:获取多帧图像以及每两帧图像之间的IMU数据;将所述多帧图像和IMU数据输入至网络模型中,得到位姿变换信息和深度信息;其中,所述网络模型基于视惯融合里程计网络构建,在所述视惯融合里程计网络的IMU网络模块前增加基于自注意力机制尺度恢复模块;所述自注意力机制尺度恢复模块用于估计尺度信息。本发明能够提高里程计的准确性。
-
公开(公告)号:CN114882091B
公开(公告)日:2024-02-13
申请号:CN202210476348.2
申请日:2022-04-29
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 分类模块用于进行深度边缘语义分类预测;所述本发明涉及一种结合语义边缘的深度估计 语义边缘检测模块用于输出图像的语义边缘分方法,包括:获取待深度估计的图像;将所述图像 类预测。本发明能够提高准确度。输入至训练好的深度学习网络中得到深度预测图和语义边缘预测图;所述深度学习网络包括:共享特征提取模块、深度估计模块、边缘增强权重模块、深度边缘语义分类模块和语义边缘检测模块;所述共享特征提取模块用于提取所述图像中的特征信息,并传输给所述深度估计模块和语义边缘检测模块;所述深度估计模块通过所述语义边缘检测模块输出的语义边缘引导视差平滑,并通过图像双重构的方式进行深度估计;所述边缘增强权重模块基于所述深度估计模块输出的(56)对比文件Jing Liu 等.CollaborativeDeconvolutional Neural Networks for JointDepth Estimation and SemanticSegmentation《.IEEE TRANSACTIONS ON NEURALNETWORKS AND LEARNING SYSTEMS》.2018,第第29卷卷(第第11期期),5655-5666.
-
公开(公告)号:CN117523249A
公开(公告)日:2024-02-06
申请号:CN202210903222.9
申请日:2022-07-28
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V10/764 , G06V10/80 , G06V10/82 , G06N3/084 , G06N3/0464
Abstract: 本申请涉及计算机技术领域,提供了一种目标检测方法、装置、电子设备及存储介质,将待处理图像输入至目标检测模型的目标基础特征提取网络得到目标基础特征图;将目标基础特征图输入至目标检测模型的目标定位分支网络得到目标位置信息;将目标基础特征图输入至目标检测模型的目标层级分类分支网络得到每个分类层级对应的目标分类特征图;针对每个分类层级对应的目标分类分支网络,将分类层级对应的目标分类特征图与下级分类层级对应的目标分类特征图进行融合处理,基于融合后的融合目标分类特征图预测分类层级对应的目标分类信息。本申请可以同时满足不同粒度要求的目标检测,可以提高粗粒度的分类精度。
-
公开(公告)号:CN117495919A
公开(公告)日:2024-02-02
申请号:CN202311561532.8
申请日:2023-11-22
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于遮挡物体检测及运动连续性的光流估计方法,包括:接收连续的两帧图像;将连续的两帧图像输入至光流估计模型中,得到光流估计值;其中,光流估计模型包括:特征提取部分提取连续的两帧图像的图像特征和上下文特征;匹配部分基于连续的两帧图像的图像特征计算相关像素点匹配,得到4D代价体;遮挡点估计部分对4D代价体进行特征相似度判断函数处理并通过卷积网络得到遮挡点;关联优化部分根据遮挡点估计出潜在匹配位置,并与4D代价体给出的位置计算对比整合,得到优化后的4D代价体;迭代优化部分根据优化后的4D代价体与上下文特征进行迭代优化,得到光流估计值。本发明能够提升光流估计精度。
-
公开(公告)号:CN117373133A
公开(公告)日:2024-01-09
申请号:CN202311447158.9
申请日:2023-11-02
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V40/20 , G06V20/40 , G06V10/44 , G06V10/74 , G06V10/77 , G06V10/82 , G06N3/0464 , G06N3/0499 , G06N3/08
Abstract: 本发明涉及一种基于CLIP模型图文双支共享机制的动作识别方法,包括:获取待识别视频并分为多帧RGB图;将多帧RGB图输入至动作识别模型,得到待识别视频中主体的动作类别;其中,动作识别模型中的视觉‑文本信息共享模块用于形成共享token;时空增强模块用于重塑图像特征序列以及更新共享token;图像特征提取部分用于结合视觉‑文本信息共享模块和时空增强模块提取多帧RGB图的视觉特征;文本特征提取部分用于结合视觉‑文本信息共享模块从类别文本中提取文本特征;相似度计算模块,用于计算文本特征和视觉特征的相似度,将相似度最大的类别作为待识别视频中主体的动作类别。本发明能达到准确、高效的行为识别性能。
-
-
-
-
-
-
-
-
-