-
公开(公告)号:CN114549592A
公开(公告)日:2022-05-27
申请号:CN202210433994.0
申请日:2022-04-24
Applicant: 之江实验室
Abstract: 本发明公开了一种非合作抛体的轨迹预测与捕获方法和装置,其创新性地高效应用了高帧率RGB相机以及RGBD深度相机的感知信息,实现抛体在空间的快速精确定位。基于定位信息,本发明又提出了基于卡尔曼滤波的抛体轨迹粗拟合以及基于物理学建模的轨迹精拟合实现方案,通过融合轨迹粗拟合与精拟合信息,本发明方法可根据实际场景和任务特点,低成本,高精度,高稳定性的实现空间抛体的轨迹预测与捕获。
-
公开(公告)号:CN115578461A
公开(公告)日:2023-01-06
申请号:CN202211419607.4
申请日:2022-11-14
Applicant: 之江实验室
Abstract: 本发明公开了一种基于双向RGB‑D特征融合的物体姿态估计方法及装置,该方法的核心创新点为特征双向融合模块,通过将RGB与点云特征投影到标准空间以实现对齐,互补和相互增强的作用,提升了最终RGB‑D特征的显著性与代表性。此外,本发明还创新性地引入了感兴趣区域检测,特征恒等映射与残差融合,多任务协同训练,关键点投票与聚类,最小二乘法姿态解算等关键方法,极大改善了传统物体六自由度姿态估计中存在的抗干扰能力弱,精度不足等痛点问题。经多个实际场景测试,本发明可在杂乱环境下,高鲁棒性和高精度地实现对遮挡物体的六自由度姿态估计。
-
公开(公告)号:CN114549592B
公开(公告)日:2022-08-05
申请号:CN202210433994.0
申请日:2022-04-24
Applicant: 之江实验室
Abstract: 本发明公开了一种非合作抛体的轨迹预测与捕获方法和装置,其创新性地高效应用了高帧率RGB相机以及RGBD深度相机的感知信息,实现抛体在空间的快速精确定位。基于定位信息,本发明又提出了基于卡尔曼滤波的抛体轨迹粗拟合以及基于物理学建模的轨迹精拟合实现方案,通过融合轨迹粗拟合与精拟合信息,本发明方法可根据实际场景和任务特点,低成本,高精度,高稳定性的实现空间抛体的轨迹预测与捕获。
-
公开(公告)号:CN115862130B
公开(公告)日:2023-10-20
申请号:CN202211433342.3
申请日:2022-11-16
Applicant: 之江实验室
IPC: G06V40/20 , G06V40/10 , G06V10/40 , G06V10/764 , G06V10/774 , G06V20/52 , G06V10/82 , G06V20/40 , G06N3/0464 , G06N3/047 , G06N3/084
Abstract: 基于人体姿态及其躯干运动场的行为识别方法,包括:获取多人人体彩色图像作为输入;采用目标检测网络从所述多人人体彩色图像中检测二维人体包围框,采用二维人体姿态估计网络从截取的图像中计算二维人体姿态;基于二维人体姿态分别计算关键点热图和躯干运动场,拼接这两种模态作为人体姿态表征;将人体姿态表征作为输入,建立姿态网络用于提取人体行为特征,输出分类器中概率最大的行为类别;采集多人人体彩色图像序列、二维人体姿态以及对应的类别标签作为训练数据集,采用随机梯度下降的优化方法对姿态网络进行预训练优化。本发明减少了复杂背景下行为动作在时间序列的歧义性,提高了低采样帧率下的行为识别的准确率。
-
公开(公告)号:CN116330306A
公开(公告)日:2023-06-27
申请号:CN202310631265.0
申请日:2023-05-31
Applicant: 之江实验室
IPC: B25J9/16
Abstract: 本说明书公开了一种物体的抓取方法、装置、存储介质及电子设备,预先建立通用模型库,获取目标物体的深度图像及普通图像,以确定该目标物体的特征,根据该目标物体的特征,在预先建立的通用模型库中确定出与该目标物体匹配的通用模型,作为目标通用模型,根据该目标物体的特征及该目标通用模型,建立该目标物体的三维点云模型,以确定该目标物体的姿态,再根据该姿态及该三维点云模型,确定该目标物体的抓取点,根据该抓取点控制抓取设备抓取该目标物体。本方法通过目标物体的不同类型的图像,确定目标物体的特征,根据该特征及目标通用模型确定目标物体的姿态,以确定抓取点,根据该抓取点抓取目标物体,提高了抓取未知物体的准确性和稳定性。
-
公开(公告)号:CN116188971A
公开(公告)日:2023-05-30
申请号:CN202211613095.5
申请日:2022-12-15
Applicant: 之江实验室
Abstract: 本发明涉及一种机器人物体识别方法、装置及存储介质,所述方法包括以下步骤:获取机器人视野范围内的环境感知图像,该环境感知图像包含图像信息和深度信息;基于所述图像信息和深度信息对所述环境感知图像进行图像分割处理,将环境感知图像分割为多个物体,形成图像输入信息;从预先构建的物体类型库中选择可能的物体语义标签,接收设计的prompt模板,将所述prompt模板与所述物体语义标签结合为语言输入信息;将所述图像输入信息和语言输入信息作为一经训练的视觉语言预训练模型的输入,获得相似性矩阵,该相似性矩阵表示图像与文本之间的相似度;基于所述相似性矩阵实现物体识别。与现有技术相比,本发明具有方便、识别可靠性高等优点。
-
公开(公告)号:CN113177539B
公开(公告)日:2021-10-19
申请号:CN202110732419.6
申请日:2021-06-30
Applicant: 之江实验室
Abstract: 本发明公开了一种遮挡行人特征提取与重识别方法,其中在利用全局特征提取网络对行人全局特征提取时,创新性嵌入了有效感受野提取模型以及特征激发模型,从而极大地提升了行人特征的代表性与可区分度。通过PartialReID以及PartialiLids数据集测试,本发明证明了上述两模型在处理遮挡行人重识别问题上的有效性以及先进性,对ReID技术的推广与实际场景应用有着积极意义。
-
公开(公告)号:CN112257684B
公开(公告)日:2021-04-16
申请号:CN202011417661.6
申请日:2020-12-07
Applicant: 之江实验室
Abstract: 本发明公开了一种基于实时视频流的跨摄像头全局行人跟踪方法。该方法主要包括以下五个步骤:多摄像头监控系统的建立,单摄像头下行人特征提取与跟踪,摄像头间行人特征信息传递,跨摄像头行人特征对比匹配以及跨摄像头行人持续稳定跟踪。本发明的方法可以实现室内场景下较密集人流的行人全局实时跟踪,对于行人轨迹监控及机器视觉有着较大的现实意义。
-
公开(公告)号:CN116884000A
公开(公告)日:2023-10-13
申请号:CN202310837433.1
申请日:2023-07-10
Applicant: 之江实验室
IPC: G06V20/70 , G06V10/74 , G06V10/764 , G06V10/25
Abstract: 本发明公开了一种基于视觉语言与关系检测的关系指代表达理解方法和装置,包括:将关系指代表达分解为参考物体、参考关系和指代物体;利用目标检测算法得到场景图像中的候选实体;利用视觉语言模型分别计算参考物体和指代物体的语言特征与候选实体的视觉特征之间的相似度,得到参考物体相似度和指代物体相似度;利用关系检测算法计算候选实体之间的在参考关系的关系类别上的参考关系概率;由参考物体相似度、指代物体相似度和参考关系概率建立邻接表;依据邻接表计算参考物体相似度、指代物体相似度和参考关系概率的综合概率,由综合概率最高值确定关系指代表达理解的实体。本发明适用于提高服务机器人在关系指代表达理解方面的人机交互能力。
-
公开(公告)号:CN116091413A
公开(公告)日:2023-05-09
申请号:CN202211585880.4
申请日:2022-12-09
Applicant: 之江实验室
Abstract: 本发明公开了一种语境知识引导的视觉关系检测方法和装置,包括:获取场景图像,确定场景图像中物体对的语义向量和语境向量,从场景图像中提取包含物体对的局部图像并确定物体对的位置掩码;利用语境知识生成模块根据物体对的语境向量提取物体对的语境知识,利用视觉特征提取模块根据局部图像和物体对的位置掩码提取物体对的视觉特征,利用语义特征提取模块根据物体对的语义向量提取物体对的语义特征,利用视觉关系检测模块根据物体对的视觉特征和语义特征计算物体对的视觉预测结果,利用综合判断模块依据视觉预测结果与物体对的语境知识综合判断得到语境知识引导的物体对的视觉关系。该方法和装置通过语境知识引导提升视觉关系检测的准确性。
-
-
-
-
-
-
-
-
-