公开(公告)号：CN117718966A

公开(公告)日：2024-03-19

申请号：CN202410032990.0

申请日：2024-01-08

Applicant: 之江实验室

Inventor： 王亚杰 ,  张春龙 ,  宛敏红 ,  王文 ,  杨嵘

IPC: B25J9/16

Abstract: 本说明书公开了一种机械臂实时轨迹重规划方法，可以确定机械臂在执行目标任务时的环境信息，可以根据环境信息，通过全局路径规划器规划出无碰撞的安全运动路径，以得到初始路径，在通过初始路径实时控制机械臂执行所述目标任务时实时检测环境信息，若通过实时检测出的环境信息确定存在障碍物对机械臂存在干扰，通过局部路径规划器在初始路径中确定局部起始点和局部终止点，以最小化每个待求解的路径点对应的势场、与局部终止点之间的距离和引起的路径偏转角为优化目标，并结合粒子群算法，重新规划出局部路径，并通过该局部路径对初始路径进行更新，以对机械臂进行控制，从而提高了对路径/轨迹进行重新规划的准确性。

公开(公告)号：CN115880685B

公开(公告)日：2024-02-13

申请号：CN202211577601.X

申请日：2022-12-09

Applicant: 之江实验室

Inventor： 杨嵘 ,  李特 ,  宛敏红 ,  张春龙 ,  朱世强 ,  王文

IPC: G06V20/64 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82

Abstract: 一种基于votenet模型的三维目标检测方法，包括：构建votenet模型；针对感兴趣目标构建用于训练votenet模型的点云数据集；构建用于训练votenet模型的基于双层嵌套三维矩形框空间划分的种子点位移损失函数；基于votenet模型原方法构建用于训练votenet模型的其他损失函数，包括前景背景分类损失函数、中心偏移量损失函数、尺寸偏移量损失函数以及朝向角偏移量损失函数；基于构建的点云数据集和损失函数训练votenet模型；使用RGB‑D相机获取待检测场景的点云数据；基于待检测场景的点云数据，经过votenet模型，输出感兴趣目标的三维目标检测结果。本发明可以在不增加模型推理延时的前提下，有效降低三维目标检测结果的虚警率。

公开(公告)号：CN115546829A

公开(公告)日：2022-12-30

申请号：CN202211187402.8

申请日：2022-09-28

Applicant: 之江实验室

Inventor： 寄珊珊 ,  李特 ,  朱世强 ,  孟启炜 ,  王文 ,  宛敏红

IPC: G06V40/10 ,  G06V10/62

Abstract: 本发明公开了基于ZED立体相机的行人空间信息感知方法及装置，主要用于展厅等公共场景下导览机器人对行人的空间位置及移动速度的智能感知。利用ZED双目视觉相机采集场景下的实时数据并上传至云端服务器；将预处理后RGB数据输入到部署好的人体关键点检测网络获取人体关键点二维信息，根据行人上半身主干区域的人体二维关键点信息生成行人包围框；对连续多帧下的多目标行人进行持续跟踪；结合点云数据获取相应区域的人体关键点三维空间坐标，并计算行人空间位置及移动速度；最后导览机器人根据获取到的行人空间信息进行本体移动控制，完成自主跟随及避障等智能导览任务，从而增加导览机器人的灵活性，提升参观者的交互体验。

公开(公告)号：CN114356078A

公开(公告)日：2022-04-15

申请号：CN202111539274.4

申请日：2021-12-15

Applicant: 之江实验室

Inventor： 金天磊 ,  宋伟 ,  朱世强 ,  林哲远 ,  王文 ,  胡顺达 ,  周元海

IPC: G06F3/01

Abstract: 本发明涉及人工智能机器人行为交互领域，具体涉及一种基于注视目标的人物意图检测方法、装置及电子设备，该方法包括：利用机器人上的深度摄像头获取到彩色图像和深度图，通过注视目标估计方法在彩色图像中估计出人物的注视目标点，通过目标检测方法在彩色图像中检测出通用目标的包围框，将人物的注视目标点与通用目标相关联，得到彩色图像中的注视目标物体；利用深度图和机器人位姿坐标计算出机器人当前位置下的可观测到的点云，彩色图像中的注视目标物体映射到注视目标点云上；在语义地图上查询注视目标点云的位置上的语义信息，作为人物意图。本发明进一步提升机器人在人机交互的能力，更好地为人类进行服务。

公开(公告)号：CN114170506A

公开(公告)日：2022-03-11

申请号：CN202111451521.5

申请日：2021-12-01

Applicant: 之江实验室

Inventor： 林哲远 ,  宋伟 ,  朱世强 ,  金天磊 ,  王文 ,  胡顺达

IPC: G06V20/10 ,  G06V20/52 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06T7/73

Abstract: 本发明公开了一种面向机器人的基于场景图的视觉场景理解系统及方法，系统包括：彩色图片获取与调用模块、场景图关系识别模块、人群关系预测模块；方法包括：通过彩色图片获取与调用模块获取应用场景中的实时的图像；对象分类模块根据对象的特征计算出对象所属的类别，场景图关系识别模块将所有对象与关系进行关联组合，生成场景图；通过关系分类模块计算出两两对象之间的合理关系类别；人群划分模块依据整个场景中的人物以及人物之间的关系类别，进行合理的人群划分；根据人群划分的结果与人物之间的关系类别，VIP预测模块对人群中的每个人进行相关的关系融合，并根据融合结果判断每个人在人群中的重要程度，最终得出该人群中的VIP。

公开(公告)号：CN115830633B

公开(公告)日：2023-07-25

申请号：CN202211484307.4

申请日：2022-11-24

Applicant: 之江实验室

Inventor： 朱世强 ,  林哲远 ,  张春龙 ,  宛敏红 ,  李特 ,  王文 ,  黄敏

IPC: G06V40/10 ,  G06V10/40 ,  G06V10/74 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种基于多任务学习残差神经网络的行人重识别方法，包括：从公开数据集中获取场景的图片与行人的信息，根据标注的人物位置信息，生成人物的裁剪图与对应人物的身份信息；构建多任务学习残差神经网络；构建“分类‑检索‑二元分类”联合损失函数；基于数据集训练好多任务学习残差神经网络和“分类‑检索‑二元分类”联合损失函数；基于待识别的人物裁剪图，经过训练好的多任务学习残差神经网络获得人物视觉特征向量；基于人物视觉特征向量，经过特征匹配算法，得到人物在人物库中对应的人物信息。本发明还包括一种基于多任务学习残差神经网络的行人重识别系统。本发明解决了由于非结构环境下，人物遮挡、衣服相似的行人重识别的问题。

公开(公告)号：CN115512003B

公开(公告)日：2023-04-28

申请号：CN202211430055.7

申请日：2022-11-16

Applicant: 之江实验室

Inventor： 金天磊 ,  宋伟 ,  朱世强 ,  王文 ,  谢冰 ,  周元海

IPC: G06T11/20 ,  G06V10/774 ,  G06V10/764 ,  G06V10/74 ,  G06T7/73

Abstract: 本发明属于计算机视觉领域，涉及一种独立关系检测的场景图生成方法和系统，该方法包括：步骤一，建立独立关系检测模型；步骤二，利用图像、图像对应的关系标签以及预定义方向锚训练所述独立关系检测模型，得到训练好的独立关系检测模型；步骤三，使用训练好的独立关系检测模型，输入图像和预定义方向锚，输出图像中存在的关系，对其中相似的关系采用相似关系抑制算法进行抑制；步骤四，同时将通过目标检测算法检测得到的物体包围框与所述输出图像中存在的关系的关系起始点和关系末端点进行位置匹配，得到 的三元组，构成场景图。本发明在不依靠目标检测结果的情况下就能对图像中的关系进行检测，提升了场景图生成的运算速度。

公开(公告)号：CN114387612A

公开(公告)日：2022-04-22

申请号：CN202111407271.5

申请日：2021-11-24

Applicant: 之江实验室

Inventor： 王文 ,  胡顺达 ,  朱世强 ,  宋伟 ,  林哲远 ,  金天磊

IPC: G06V40/10 ,  G06V10/56 ,  G06V10/774 ,  G06V10/764 ,  G06V10/80 ,  G06K9/62

Abstract: 本发明公开了一种基于双模态特征融合网络的人体重识别方法及装置，该方法包括：获取待识别人体的彩色图像及对应的其他模态图像；将所述彩色图像及对应的其他模态图像输入训练好的双模态特征融合网络，提取所述待识别人体的特征；将所述待识别人体的特征与人体图像库的特征进行对比，得到所述待识别人体的识别结果。本发明针对人体重识别问题，将待识别人体的彩色图像及对应的其他模态图像输入训练好的双模态特征融合网络，进行特征提取，提取到的特征信息量相对于根据单一模态图像提取的特征更加丰富，从而使得所进行的人体重识别的准确度相较于根据单一模态图像进行的人体重识别也更高。

公开(公告)号：CN113989333A

公开(公告)日：2022-01-28

申请号：CN202111457064.0

申请日：2021-11-29

Applicant: 之江实验室

Inventor： 胡顺达 ,  王文 ,  宋伟 ,  朱世强 ,  林哲远 ,  金天磊

IPC: G06T7/246 ,  G06T7/277 ,  G06V40/16 ,  G06V10/44 ,  G06V10/75 ,  G06K9/62

Abstract: 本发明涉及行人跟踪领域，尤其涉及一种基于人脸和头肩信息的行人跟踪的方法，包括：步骤一，获取机器人上摄像头的图像，对图像中人进行头肩检测，提取头肩检测框，并且提取头肩特征；步骤二，利用步骤一中的头肩检测框，裁剪出头肩图像，进行人脸检测，得到人脸检测框，再提取人脸特征；步骤三，利用步骤一和步骤二中获取的当前帧的行人的信息，将当前帧行人与历史中行人进行关联；步骤四，利用步骤三中的关联结果，更新历史中行人的信息。本发明相对于其它单一特征的在线行人跟踪方法，本发明能够降低丢失目标风险，提高了丢失找回能力，降低身份跳变率。

公开(公告)号：CN117226854A

公开(公告)日：2023-12-15

申请号：CN202311505956.2

申请日：2023-11-13

Applicant: 之江实验室

Inventor： 王亚杰 ,  宛敏红 ,  张春龙 ,  杨嵘 ,  王文

IPC: B25J9/16 ,  B25J19/00

Abstract: 本说明书公开了一种夹取任务的执行方法、装置、存储介质及电子设备。所述方法包括：获取包含有目标物的图像数据，并确定目标物对应的轮廓信息以及目标物所处环境的环境信息；根据轮廓信息，确定目标物中包含的每个部件所对应的位姿信息、形体信息以及语义信息；根据环境信息、位姿信息、形体信息、语义信息以及每种夹取姿态对应的预设夹取姿态信息，确定通过不同夹取姿态夹取目标物中每种部件时的夹取损失值；根据夹取损失值，在各夹取姿态中确定出目标夹取姿态，以及在目标物的各部件中确定出目标部件，并按照目标夹取姿态执行针对目标部件的夹取任务。