公开(公告)号：CN119620750A

公开(公告)日：2025-03-14

申请号：CN202411636135.7

申请日：2024-11-15

Applicant: 哈尔滨工业大学

Inventor： 高亚斌 ,  尚瀚军 ,  邵士博 ,  胡瑀晖 ,  卢彦岐 ,  李清华 ,  孙光辉 ,  吴立刚

IPC: G05D1/43 ,  G01C21/20 ,  G06N3/0442 ,  G06N3/092 ,  G05D1/633 ,  G05D1/644 ,  G05D1/648 ,  G05D109/30

Abstract: 基于多模态多任务强化学习的异构多无人系统任务决策与路径规划方法，它属于人工智能领域。本发明解决了单一类别智能体无法完成复杂任务的问题。将多模态信息进行统一编码，从编码结果中提取双方无人艇位置信息和障碍物信息后，输入到基于PPO的强化学习算法中进行任务决策，再将多任务信息发送给无人艇。红方无人艇对接收到的多任务文本信息进行预处理，将获取到的自身位置、目标位置和障碍物位置信息作为路径规划的状态空间，根据规划的路径到达目标位置后执行指定任务，直至到达任务切换时刻，根据更新的各无人机总奖励来更新强化学习算法中网络参数，基于更新后的参数重新决策任务。本发明方法可以应用于异构多无人系统的任务决策与路径规划。

公开(公告)号：CN118559711A

公开(公告)日：2024-08-30

申请号：CN202410784930.4

申请日：2024-06-18

Applicant: 哈尔滨工业大学

Inventor： 高亚斌 ,  尚瀚军 ,  陈艺翔 ,  匡冀源 ,  齐弼卿 ,  刘健行 ,  孙光辉 ,  吴立刚

IPC: B25J9/16

Abstract: 基于视觉语言大模型的机器人操纵方法，本发明涉及人工智能和具身智能领域，具体涉及基于视觉语言大模型的机器人操纵方法。本发明的目的是为了解决现有机器人理解指令及视觉环境后执行的操纵任务完成准确率低的问题。过程为：将语言指令文本和深度相机捕获的RGBD图像输入视觉语言大模型；视觉语言大模型的PC机输出三维位置坐标、三维旋转位姿和机械爪的开闭状态；视觉语言大模型机械臂上Jetson Nano端通过ROS接收三维位置坐标、三维旋转位姿和机械爪的开闭状态；对接收到的三维位置坐标、三维旋转位姿和机械爪的开闭状态信息进行逆运动学解算，将解算后的各关节角度输入舵机，对舵机进行PID控制完成机械臂的动作。