一种机器人视觉语言导航的动作自适应方法和系统

    公开(公告)号:CN118832572A

    公开(公告)日:2024-10-25

    申请号:CN202410784417.5

    申请日:2024-06-18

    申请人: 同济大学

    摘要: 本发明涉及一种机器人视觉语言导航的动作自适应方法和系统,包括:确定机器人可行动作空间数值范围,并生成随机动作;基于随机动作与环境交互所得变化,利用机器人动作影响自编码模块得到动作嵌入向量;基于动作嵌入向量,对比数据集中特定动作并计算差异,确定当前执行动作及对应的语义含义;基于确定性的动作与环境交互所得,利用交叉模态注意力特征提取模块,得到机器人视觉语言多模态特征;基于机器人视觉语言多模态特征,作为扩散策略决策模块条件,迭代推理出机器人下一步执行动作;对机器人状态进行更新,直至到达目标结束本次导航任务。与现有技术相比,本发明具有增强机器人动作自适应的鲁棒性和准确性等优点。

    一种基于多维赛博空间的移动智能体数字孪生系统

    公开(公告)号:CN112115607B

    公开(公告)日:2024-04-26

    申请号:CN202010970455.1

    申请日:2020-09-16

    申请人: 同济大学

    摘要: 本发明涉及一种基于多维赛博空间的移动智能体数字孪生系统,具体包括以下结构:物理空间试验场,为移动智能体测试提供运动空间作为简易物理测试环境;赛博空间运维系统,根据物理空间试验场,进行数据采集融合处理,利用VR技术、集合实体建模技术和多学科联合仿真技术构建的多维映射赛博空间的运行载体;高通量数据传输信道,为赛博空间运维系统与物理空间试验场的信息流交互提供多输入多输出数据传输通道;虚实多维空间可视化系统,提供移动智能体试验测试过程的可视化推演及人机交互。与现有技术相比,本发明具有多对一的虚实交互孪生测试能力,提升了移动智能体试验的泛化能力、强化了试验测试结果的同时降低了试验研发成本等优点。