公开(公告)号：CN116931562A

公开(公告)日：2023-10-24

申请号：CN202310633762.4

申请日：2023-05-31

Applicant: 东南大学

Inventor： 曾洪 ,  翟佳佳 ,  孙燈峰 ,  徐晓英 ,  宋爱国

IPC: G05D1/02

Abstract: 本发明公开了基于多模态交互接口的多机器人连通性控制系统及方法，该系统包括：交互接口模块、通信模块和多机器人协同控制模块；涉及的方法包括：操作员远程操控人机交互模块实现多模态控制指令的输入，通过通信模块传输控制指令给多机器人协同控制模块，多机器人协同控制模块通过连通性保持算法与一致性算法最终实现机器人班组的协同控制。本发明通过首先将传感模型、避障约束与队形约束嵌入到一个独特的连接保存动作中。然后通过多模态交互接口实现了（1）领航者的线速度与角速度控制（2）在线改变代数连通性的最小阈值，增强了单个操作操控多机器人系统的能力，并且将操作员的智能决策能力与机器的任务执行能力进行了有效的结合。

公开(公告)号：CN116631262A

公开(公告)日：2023-08-22

申请号：CN202310633802.5

申请日：2023-05-31

Applicant: 东南大学

Inventor： 曾洪 ,  孙燈峰 ,  翟佳佳 ,  徐晓英 ,  宋爱国

IPC: G09B9/08 ,  G09B9/30 ,  G06F3/01

Abstract: 本发明公开了一种基于虚拟现实和触觉反馈装置的人机协同训练系统，包括：物理仿真平台、虚拟现实设备、触觉反馈装置；所述物理仿真平台的计算中枢计算编队状态以及运动指引信息，通过编队组织算法协同控制人机编队；所述虚拟现实设备包括头显及手柄；用户佩戴头显获取虚拟代理人第一视角图像，使用手柄控制人机编队的运动以及交互；所述触觉反馈装置将计算中枢所得进行信息触觉编码，为用户提供触觉反馈。本发明采用沉浸式体验与触觉反馈相结合的训练方法，不需要占用实际场地，克服了视觉受限及负荷过重导致态势感知弱的局限，实现触觉感知式无人机控制，更好的提高人机协同的训练效果，任务完成率与稳定性提高。

公开(公告)号：CN116627257A

公开(公告)日：2023-08-22

申请号：CN202310633857.6

申请日：2023-05-31

Applicant: 东南大学

Inventor： 曾洪 ,  徐晓英 ,  孙燈峰 ,  翟佳佳 ,  宋爱国

IPC: G06F3/01 ,  G06F18/25 ,  G06F3/0488 ,  G06F3/0482

Abstract: 本发明公开了面向人‑多机器人班组交互的眼脑融合输入方法及系统，该方法包括：操作员通过头戴增强现实设备注视交互界面，将检测的有效注视事件和注视相关电位信号融合，得到多机器人控制指令；该系统包括交互接口模块、通信模块和多机器人控制模块；交互接口模块包括视线追踪模块、FRP脑机接口模块、融合模块和增强现实模块；通信模块实现交互接口模块与多机器人控制模块的数据交互；多机器人控制模块实现对多机器人的控制；本发明通过眼脑混合接口对多机器人控制输入，增强了操作员双手被占用时操控多机器人的能力；同时本发明采用增强现实模块建立虚拟可视化的交互界面，增强了在动态、非结构化、非开阔环境下人‑多机器人班组之间的交互能力。