-
公开(公告)号:CN118709766A
公开(公告)日:2024-09-27
申请号:CN202411193875.8
申请日:2024-08-28
Applicant: 之江实验室
IPC: G06N5/022 , G06N5/04 , G06F40/30 , G06F16/9032 , G06F16/903 , G06F16/9038
Abstract: 本说明书公开了一种遥感问题回答生成方法、装置、介质及设备。获取用户输入的遥感问题文本。根据遥感问题文本,在预设的数据库中检索预设数量的与遥感问题文本相关的各文档。确定至少部分文档对应的遥感图像。根据遥感问题文本、各文档以及遥感图像,生成提示语句,并将提示语句输入到预设的大语言模型中,以通过大语言模型,生成针对遥感问题文本的问题回答文本,并将问题回答文本以及遥感图像展示给用户。能够为用户提供文本与遥感图像结合的综合答案作为遥感问题的回答,提供更直观和易于理解的答案展示方式,使用户能够更全面地获取信息。
-
公开(公告)号:CN118675032A
公开(公告)日:2024-09-20
申请号:CN202411161156.8
申请日:2024-08-22
Applicant: 之江实验室
IPC: G06V10/82 , G06V10/26 , G06V20/70 , G06V10/25 , G06V10/44 , G06V10/80 , G06V10/764 , G06V10/766 , G06N3/0464 , G06N3/0455 , G06N3/0475 , G06N3/096
Abstract: 本说明书公开了一种模型训练和图像分割方法、装置、存储介质及设备。所述模型训练方法包括:获取样本图像以及标签数据;确定标签数据中的每个实例标签所对应的实例类别信息;将样本图像以及实例类别信息输入待训练的图像分割模型,通过图像分割模型中的编码器,分别确定样本图像对应的图像特征和实例类别信息对应的文本特征,通过图像分割模型中的目标特征提取网络,根据样本图像,确定目标特征;通过图像分割模型中的注意力网络,根据图像特征对目标特征进行调整,得到强化目标特征;根据强化目标特征和实例类别信息对应的文本特征,确定图像分割结果;根据图像分割结果与标签数据之间的偏差,确定损失值并对模型进行训练。
-
公开(公告)号:CN118378693B
公开(公告)日:2024-08-23
申请号:CN202410803846.2
申请日:2024-06-20
Applicant: 之江实验室
IPC: G06N3/096 , G06V10/25 , G06N3/0464 , G06V10/80 , G06V10/82
Abstract: 本说明书公开了一种模型训练及航天器目标检测方法、装置及电子设备。所述模型训练方法包括:获取航天场景中的点云数据并输入教师检测模型,得到初始特征;基于预设的调整网络,对初始特征进行调整,得到基准特征;将点云数据输入目标检测模型,以通过目标检测模型的特征提取网络,对点云数据进行特征提取,得到目标特征和蒸馏特征;根据目标特征,确定目标检测结果;根据基准特征与蒸馏特征之间的偏差,以及目标检测结果与点云数据所对应的实际标签之间的偏差,确定损失值并对目标检测模型进行训练。本方案可以使目标检测模型充分学习教师检测模型所提取到的知识,保证了模型性能,并且可以实现在少样本的情况下对目标检测模型进行训练。
-
公开(公告)号:CN118470752A
公开(公告)日:2024-08-09
申请号:CN202410919906.7
申请日:2024-07-10
Applicant: 之江实验室
IPC: G06V40/10 , G06V40/20 , G06V10/44 , G06V10/42 , G06V10/80 , G06V10/764 , G06V10/774 , G06V10/74 , G06V10/82 , G06N3/0464 , G06N3/045 , G06N3/048
Abstract: 基于注意力机制和特征融合策略的行人重识别方法和装置,其方法包括:(1)选择行人重识别数据集,训练集、查询集和原型图像集;(2)在ResNet的输出特征Conv4_2上构建分支结构,包括全局分支、二分分支和三分分支;(3)在全局分支中构建基于注意力机制和特征融合策略的特征增强结构,提取特征;(4)在二分分支中构建基于注意力机制和特征融合策略的特征增强结构,提取特征;(5)在三分分支中构建基于注意力机制和特征融合策略的特征增强结构,提取特征;(6)根据全局特征和局部特征计算损失;(7)将查询集中的图像输入训练好的网络,拼接三个分支的输出特征,计算查询集中待查询图像特征和原型图像集图像特征之间的距离,实现行人重识别。
-
公开(公告)号:CN117576354B
公开(公告)日:2024-04-19
申请号:CN202410058003.4
申请日:2024-01-16
Applicant: 之江实验室
Abstract: 本发明公开了一种基于人体轨迹预测的AGV防撞预警方法与系统,其方法包括:双目相机标定并采集图像数据、基于双目视觉的三维场景重建、人体三维关键点检测、人体三维检测框识别、多人体位姿跟踪、人体行为分析、人体轨迹预测、AGV防撞预警与路径重规划。本发明可同时对出现在视域范围内的多个人体进行行为分析及轨迹预测,生成相应的AGV防撞预警信息并根据威胁程度重新规划AGV的路径。
-
公开(公告)号:CN117036481A
公开(公告)日:2023-11-10
申请号:CN202311064059.2
申请日:2023-08-22
Applicant: 之江实验室
IPC: G06T7/73 , G06T7/33 , G06T7/246 , G06T7/11 , G06N3/0442 , G06N3/0464 , G06N3/08
Abstract: 本说明书公开了一种未知物体的行为检测方法、装置及存储介质,采集目标物体的若干张图像,并针对每张图像,根据该图像的采集时刻,获取与该图像对应的目标物体的点云,针对每张图像,将该图像与该图像对应的点云进行配准,获得配准图像及配准点云,根据不同采集时刻的配准图像及配准点云,确定目标物体的状态变化信息以通过行为预测模型,获取目标物体在预设时间内的行为特征向量,并根据行为特征向量检测目标物体的行为。本方法通过将目标物体的图像及该图像对应的点云进行配准,以根据图像补充缺失的点云数据及根据点云补充图像数据,从而获取更完整的感知数据,以提高检测目标物体行为的准确性。
-
公开(公告)号:CN116977446A
公开(公告)日:2023-10-31
申请号:CN202310964101.X
申请日:2023-08-02
Applicant: 之江实验室
IPC: G06T7/80 , G06T7/00 , G06N3/0464 , G06N3/08 , G06V10/764
Abstract: 一种多相机小尺寸物体识别、定位方法和系统,其方法包括:S1:相机之间外参标定S2:小目标视觉检测S3:小目标的点云背景过滤S4:两相机的联合定位S5:目标中心位置估计补偿。本发明通过多个相机同时工作,提供多视角下观察到的目标信息,并进一步通过卷积神经网络、点云过滤、空间聚类等手段,提高小尺寸目标识别、定位的鲁棒性和准确度。
-
-
公开(公告)号:CN116862991A
公开(公告)日:2023-10-10
申请号:CN202310602986.9
申请日:2023-05-26
IPC: G06T7/80 , G06T7/246 , G06T7/73 , G06F30/20 , G06F111/04
Abstract: 本发明涉及一种基于三维无纹理目标跟踪的在线手眼标定方法,属于计算机视觉领域,包括:将每一时刻的物体位姿和机械臂位姿入数据池中,在数据池获取足够数量的有效数据集后,开始进行在线的手眼标定计算模块;在手眼标定计算模块中,使用李代数方法获得初始值,然后使用三维汇聚点约束和闭环约束迭代地优化手眼位姿。本发明解决了难以使用无纹理/弱纹理物体进行手眼标定的问题,使得机械臂在工作场景中出现碰撞等改变相机和机械臂相对位姿时,不需要停止机械臂正在执行的任务,只需要收集相机可视空间内存在的物体的图片以及对应时刻机械臂的位姿,即使物体没有纹理或者纹理较弱,即可完成手眼位姿的重定位,使机械臂可以连续的完成任务。
-
公开(公告)号:CN116690575A
公开(公告)日:2023-09-05
申请号:CN202310793644.X
申请日:2023-06-30
Applicant: 之江实验室
IPC: B25J9/16
Abstract: 本发明提供一种基于手眼相机的无标定机械臂抓取方法和装置,其方法包括:S1:建立相机、机械臂坐标转换关系;S2:建立机械臂手掌点云模型;S3:通过机器人左目、右目相机定位目标;S4:控制机械臂运动到抓取目标正上方,相机对准采样目标;S5:计算相机装配偏差转换矩阵;S6:通过手眼相机定位目标;S7:计算目标修正后的空间位置;S8:控制机械臂抓取、归集目标。本发明用在相机‑机械臂系统定位抓取目标过程中,相机安装或者使用过程中存在装配偏差时,通过ICP匹配修正相机装配偏差,实现准确定位。
-
-
-
-
-
-
-
-
-