公开(公告)号：CN118789551A

公开(公告)日：2024-10-18

申请号：CN202411122553.4

申请日：2024-08-15

Applicant: 同济大学

Inventor： 王志鹏 ,  任若晨 ,  何斌 ,  蒋烁 ,  周艳敏

IPC: B25J9/16 ,  B25J19/02

Abstract: 本发明涉及一种基于多模态大模型的人机共融机械臂自适应抓取方法及系统，其中方法包括以下步骤：获取任务区域的多模态传感数据，所述多模态传感数据包括视觉数据、触觉数据和描述任务的语言指令，其中，所述视觉数据包括RGB信息和深度信息；将多模态传感数据转换为描述文本；将描述文本输入大模型，由大模型进行语义规划，生成机械臂动作策略，所述机械臂动作策略包括路径规划策略和抓取策略；基于运动规划器控制机械臂按照机械臂动作策略进行动作，并通过人类反馈调整抓取策略，完成抓取任务。与现有技术相比，本发明具有能够实现形状、大小、质地各异的物体的精确抓取等优点。

公开(公告)号：CN118155288A

公开(公告)日：2024-06-07

申请号：CN202410368409.2

申请日：2024-03-28

Applicant: 同济大学

Inventor： 王志鹏 ,  任若晨 ,  何斌 ,  蒋烁 ,  周艳敏

IPC: G06V40/20 ,  G06V10/26 ,  G06V10/764

Abstract: 本发明涉及一种多模态数据采集、存储标注系统，所述系统包括：前端数据采集模块，用于采集多模态数据，所述多模态数据包括动捕、音视频、触觉动力学、眼动注意力以及肌电数据；传感器同步模块，用于对多模态数据进行时间与空间维度上的对齐；数据存储及标注模块，对采集的原始数据的存储，并进行动作分割，行为标定、语义分割、手部动作分类以及感兴趣区域标注；后端管理模块，包括对标注数据进行跨模态统计与分析，分析各模态数据之间的关系。与现有技术相比，本发明可以完善现有模态数据的采集、存储以及标注方案，可实现多模态可视化，为更多的研究学者展开模仿学习、目标检测、手势分类等技术研究提供了数据支撑。