-
公开(公告)号:CN115063591A
公开(公告)日:2022-09-16
申请号:CN202210883738.1
申请日:2022-07-26
Applicant: 之江实验室
IPC: G06V10/26 , G06V10/40 , G06V10/82 , G06V10/764
Abstract: 本发明公开了一种基于边缘度量关系的RGB图像语义分割方法及装置,该方法包括:构建语义分割网络的网络主体;从所述网络主体中提取可分离的中间层特征,构建边缘度量关系模块;组合所述网络主体与所述边缘度量关系模块,构建基于边缘度量关系的语义分割网络;对所述基于边缘度量关系的语义分割网络进行训练;输入待测RGB图像至训练后的语义分割网络,得到所述待测RGB图像的各语义类别分类得分和根据最高得分对应的类别生成的语义分割图像。
-
公开(公告)号:CN112288870B
公开(公告)日:2021-04-27
申请号:CN202011555269.8
申请日:2020-12-24
Applicant: 之江实验室
Abstract: 本申请公开了一种基于移动机器人与地面交互声音的地形识别方法及装置,包括:在已选择的各地形中,采集移动机器人与各地面交互的音频数据,并对所述音频数据进行处理,构建得到用于模型训练的地形数据库;基于所述地形数据库,构建基于注意力机制的地形分类网络模型;在待识别地形中,采集移动机器人与待识别地形地面交互的音频数据,通过所述地形分类网络模型识别该地形。利用移动机器人与地面的交互声音的方法充分地排除了光照变化等环境对系统探测的影响,不仅可以仅凭声音独立识别地形,也可以与基于视觉的地形识别方案互为补充,进一步提升系统的鲁棒性。
-
公开(公告)号:CN118378693A
公开(公告)日:2024-07-23
申请号:CN202410803846.2
申请日:2024-06-20
Applicant: 之江实验室
IPC: G06N3/096 , G06V10/25 , G06N3/0464 , G06V10/80 , G06V10/82
Abstract: 本说明书公开了一种模型训练及航天器目标检测方法、装置及电子设备。所述模型训练方法包括:获取航天场景中的点云数据并输入教师检测模型,得到初始特征;基于预设的调整网络,对初始特征进行调整,得到基准特征;将点云数据输入目标检测模型,以通过目标检测模型的特征提取网络,对点云数据进行特征提取,得到目标特征和蒸馏特征;根据目标特征,确定目标检测结果;根据基准特征与蒸馏特征之间的偏差,以及目标检测结果与点云数据所对应的实际标签之间的偏差,确定损失值并对目标检测模型进行训练。本方案可以使目标检测模型充分学习教师检测模型所提取到的知识,保证了模型性能,并且可以实现在少样本的情况下对目标检测模型进行训练。
-
公开(公告)号:CN117011389A
公开(公告)日:2023-11-07
申请号:CN202310604013.9
申请日:2023-05-26
Abstract: 本发明涉及一种基于深度数据直接优化的三维跟踪方法,属于三维跟踪技术领域。三维跟踪方法步骤如下:(1)读入相机参数配置文件;(2)初始化相机内参矩阵;(3)给定初始位姿,三维模型和深度图;(4)通过基于深度数据的位姿扰动模型估计下一帧的位姿;(5)重复步骤(4),继续跟踪。本发明为深度数据引入了扰动模型,无需寻找三维点的对应关系,提高了跟踪精度。
-
公开(公告)号:CN116245961B
公开(公告)日:2023-09-01
申请号:CN202310218455.X
申请日:2023-03-02
Applicant: 之江实验室
Abstract: 一种基于多类传感器信息的融合感知方法,包括硬件同步触发传感器在同一时刻采集数据;时间软同步对齐不同类型传感器发布信息的时间戳;空间同步计算传感器标定参数;利用双目深度恢复、点云滤波、点云配准等技术实现点云拼接;三维点云投影至二维像素平面,实现图像信息重合视野部分的融合;通过语义信息建立不同像素坐标系下像素点的映射关系,实现图像信息非重合视野部分的融合。还包括一种基于多类传感器信息的融合感知系统。本发明可自适应配准多组点云数据,使用先降采样再标记噪声点的方式对点云进行滤波,以结合点云投影与语义分割的方式实现大视差角度下非视野重合部分的融合,有效提升了算法的鲁棒性,降低算法运行时间,提高融合帧率。
-
公开(公告)号:CN115063591B
公开(公告)日:2022-11-29
申请号:CN202210883738.1
申请日:2022-07-26
Applicant: 之江实验室
IPC: G06V10/26 , G06V10/40 , G06V10/82 , G06V10/764
Abstract: 本发明公开了一种基于边缘度量关系的RGB图像语义分割方法及装置,该方法包括:构建语义分割网络的网络主体;从所述网络主体中提取可分离的中间层特征,构建边缘度量关系模块;组合所述网络主体与所述边缘度量关系模块,构建基于边缘度量关系的语义分割网络;对所述基于边缘度量关系的语义分割网络进行训练;输入待测RGB图像至训练后的语义分割网络,得到所述待测RGB图像的各语义类别分类得分和根据最高得分对应的类别生成的语义分割图像。
-
公开(公告)号:CN119602857A
公开(公告)日:2025-03-11
申请号:CN202510138982.9
申请日:2025-02-08
Applicant: 之江实验室
IPC: H04B7/185 , H04L67/06 , H04B10/118
Abstract: 本发明公开了一种基于卫星组网星座的天地协同遥感智能体系统,包括地面站和卫星组网星座,卫星组网星座中根据与地面站的建链情况分为建链卫星和非建链卫星;该系统中,响应于用户输入或突发灾害事件,地面站利用地面大模型生成指令文件并上传至建链卫星;建链卫星对指令文件进行解析并判断自身是否为主责星,若不是则将指令文件传输至主责星,主责星利用星载大模型生成对应的任务规划;主责星基于自身和其余卫星的实际情况生成相应的计算请求和/或拍摄请求,发送至对应其余卫星并接收返回的计算结果和/或拍摄结果,基于所有计算结果和/或拍摄结果生成结果文件,通过建链卫星将结果文件下传至地面站;地面站对结果文件进行解析及可视化处理。
-
公开(公告)号:CN119229311A
公开(公告)日:2024-12-31
申请号:CN202411728789.2
申请日:2024-11-28
Applicant: 之江实验室
IPC: G06V20/13 , G06V20/70 , G06V10/764 , G06V10/26 , G06V10/82 , G06N3/08 , G06Q10/0631
Abstract: 本申请公开了一种卫星影像数据的交互方法、装置及介质,该方法包括:对获取的数据处理指令和卫星影像数据的图像解译文本进行解析,以确定用户请求。若用户请求为卫星影像处理请求,调取用于处理卫星影像处理请求的目标视觉基础模型,并制定卫星影像任务策略。基于卫星影像任务策略,控制目标视觉基础模型执行对应的卫星影像任务。由此,将数据处理指令和图像解译文本进行结合解析以全面地了解用户请求,并根据用户请求调取可以实现下游任务的小模型进行卫星影像任务,即,调取可以实现卫星影像处理的视觉基础模型进行卫星影像处理。由此,基于卫星影像数据的准确解析,满足用户快速、准确且高效的卫星影像数据交互。
-
公开(公告)号:CN118378693B
公开(公告)日:2024-08-23
申请号:CN202410803846.2
申请日:2024-06-20
Applicant: 之江实验室
IPC: G06N3/096 , G06V10/25 , G06N3/0464 , G06V10/80 , G06V10/82
Abstract: 本说明书公开了一种模型训练及航天器目标检测方法、装置及电子设备。所述模型训练方法包括:获取航天场景中的点云数据并输入教师检测模型,得到初始特征;基于预设的调整网络,对初始特征进行调整,得到基准特征;将点云数据输入目标检测模型,以通过目标检测模型的特征提取网络,对点云数据进行特征提取,得到目标特征和蒸馏特征;根据目标特征,确定目标检测结果;根据基准特征与蒸馏特征之间的偏差,以及目标检测结果与点云数据所对应的实际标签之间的偏差,确定损失值并对目标检测模型进行训练。本方案可以使目标检测模型充分学习教师检测模型所提取到的知识,保证了模型性能,并且可以实现在少样本的情况下对目标检测模型进行训练。
-
公开(公告)号:CN117036481A
公开(公告)日:2023-11-10
申请号:CN202311064059.2
申请日:2023-08-22
Applicant: 之江实验室
IPC: G06T7/73 , G06T7/33 , G06T7/246 , G06T7/11 , G06N3/0442 , G06N3/0464 , G06N3/08
Abstract: 本说明书公开了一种未知物体的行为检测方法、装置及存储介质,采集目标物体的若干张图像,并针对每张图像,根据该图像的采集时刻,获取与该图像对应的目标物体的点云,针对每张图像,将该图像与该图像对应的点云进行配准,获得配准图像及配准点云,根据不同采集时刻的配准图像及配准点云,确定目标物体的状态变化信息以通过行为预测模型,获取目标物体在预设时间内的行为特征向量,并根据行为特征向量检测目标物体的行为。本方法通过将目标物体的图像及该图像对应的点云进行配准,以根据图像补充缺失的点云数据及根据点云补充图像数据,从而获取更完整的感知数据,以提高检测目标物体行为的准确性。
-
-
-
-
-
-
-
-
-