基于多模态大模型的机器人控制方法

    公开(公告)号:CN119897864A

    公开(公告)日:2025-04-29

    申请号:CN202510283787.5

    申请日:2025-03-11

    Abstract: 基于多模态大模型的机器人控制方法,解决了现有基于大模型的机器人控制方法的泛化性和适应性的问题,属于机器人控制领域。本发明包括:多模态规划大模型根据用户的要求和历史行为记录,解构出子任务序列,指令生成模型根据解构出的子任务序列生成相应控制指令,并存入划指针队列中;规划指针管理规划指针队列中的控制指令,正常执行完的控制指令被移入历史行为记录中;训练时,通过人机交互对规划控制进行评判,执行效果好的规划内容存入优秀数据集中,利用优秀数据集对多模态规划模型和指令生成模型进行微调优化;利用优化后的两个模型和规划指针对机器人进行控制。

Patent Agency Ranking