一种多手指机械臂远程感知与自主序列化控制方法

    公开(公告)号:CN118181286A

    公开(公告)日:2024-06-14

    申请号:CN202410355724.1

    申请日:2024-03-27

    申请人: 东南大学

    IPC分类号: B25J9/16

    摘要: 一种多手指机械臂远程感知与自主序列化控制方法,构建了一种仿生远端操控与感知机制。专利在模型层面,将常规人工手动操作的扭矩及触觉压力信息建模,构建出合理的传感量边界;其次在传感层面,构建了机械手臂的扭矩与指上压力采集系统,实现机械手臂关键发力点的力道控制与感知,防止损伤性操作;最后在控制方面,构建了远方指令与就地决策相结合的控制方式,简化了远方放操作的指令复杂度,也提升了就地操作的准确度。发明可以运用在地刀投切,硬压板投退,二次设备操作等复杂场景中。

    基于肌电信号和变刚度控制的虚拟假手柔顺直观控制方法

    公开(公告)号:CN111897415B

    公开(公告)日:2024-05-10

    申请号:CN202010572468.3

    申请日:2020-06-22

    申请人: 东南大学

    摘要: 本发明公开了基于肌电信号和变刚度控制的虚拟假手柔顺直观控制方法,步骤:采集人手手指关节弯曲信号和人体前臂表面肌电信号并进行预处理;建立抓握过程中人体前臂表面肌电信号与人手手指关节弯曲的参考角度的关系以及人体前臂表面肌电信号与肌肉收缩过程中参考刚度的关系;采用基于仿人变刚度的阻抗控制模型对抓握过程中的手指关节弯曲角度进行估计;搭建虚拟假手交互系统,根据估计的手指关节弯曲角度对虚拟环境中的虚拟假手进行抓握虚拟物体的控制,并将虚拟假手的受力情况反馈给人手。本发明在保持假手角度控制准确性的基础上具有较好的柔顺性,同时提高了虚拟假手控制的沉浸感,提升了交互的直观性。

    基于深度视觉引导的曲面切向零力控制打磨系统及方法

    公开(公告)号:CN117961775A

    公开(公告)日:2024-05-03

    申请号:CN202410240299.1

    申请日:2024-03-04

    申请人: 东南大学

    IPC分类号: B24B51/00 B24B49/12 B24B41/06

    摘要: 本发明公开了一种基于深度视觉引导的曲面切向零力控制打磨系统及方法,机械臂夹持电动磨机对待加工工件表面进行径向打磨,在磨抛表面的法向方向进行恒力控制,在切向方向进行零力控制。首先,深度相机扫描待加工工件,对待加工工件表面进行三维重构,构成三维点云数据;再根据三维点云数据,生成机械臂在曲面切向平面的引导位姿,使得磨抛力的控制方向始终与当前加工位置的法线方向重合,在该方向上对当前磨抛位置进行恒力控制;最后操作人员在磨抛加工的切向方向上对打磨轨迹进行人为引导,根据打磨的实际效果实时对磨抛轨迹进行调整与规划,在发挥作业人员经验优势的同时,使打磨产品的质量具有一致性,提高生产加工效率。

    基于双目视觉的柔性翅膀形变检测和运动重建方法及装置

    公开(公告)号:CN117830425A

    公开(公告)日:2024-04-05

    申请号:CN202311771592.2

    申请日:2023-12-21

    申请人: 东南大学

    发明人: 张军 胡水 宋爱国

    摘要: 本发明提出了基于双目视觉的柔性翅膀形变检测和运动重建方法及装置,包括双目视觉检测方法、自适应KCF追踪算法、双目相机同步校正方法,以及实验装置,所述的双目视觉检测方法可以重建柔性翅膀的运动模型,检测翅膀的变形量;所述的自适应KCF追踪算法可以稳定追踪和定位运动翅膀的整体和局部区域的空间位置;所述的同步误差修正方法可以校正异步触发的双目相机的时间差,实现双目相机拍摄图像的同步。实验装置包括双目相机、柔性翅膀、标记和双目同步校正装置等。本发明通过自适应KCF追踪算法和同步校正方法提升了高速运动目标的追踪精度,降低了双目相机同步误差。最终提高柔性翅膀形变检测准确度和运动模型重建精度,并降低测量设备的成本。

    基于共享多层感知机及滑动窗口变换器的目标定位方法

    公开(公告)号:CN117593374A

    公开(公告)日:2024-02-23

    申请号:CN202311775338.X

    申请日:2023-12-22

    申请人: 东南大学

    摘要: 本发明公开了基于共享多层感知机及滑动窗口变换器的目标定位方法,对图像上的目标进行定位,以确定其像素坐标。本发明所述的方法,其主结构包含坐标预测部分与置信度预测部分,将每帧图像分成若干个正方形的小区域,对每个正方形的小区域都预测出一组坐标和其置信度,并用置信度最高的一组坐标作为最终预测结果。在坐标预测部分,利用残差卷积层抽象出每个正方形区域的特征,并用Shared MLP总结出坐标预测结果。在置信度预测部分,利用Swin Transformer抽象出每个正方形区域的特征,并用Shared MLP总结出置信度预测结果。本发明创新性地将深度神经网络中的Swin Transformer、Shared MLP、残差卷积等结构进行有机结合,提出了一种全新的图像目标定位的网络结构,其性能优于传统方法。

    基于多编码器和多模态信息融合的急诊分诊方法及系统

    公开(公告)号:CN117457162A

    公开(公告)日:2024-01-26

    申请号:CN202311409451.6

    申请日:2023-10-27

    申请人: 东南大学

    摘要: 本发明公开了一种基于多编码器和多模态信息融合的急诊分诊方法及系统,所述的系统通过多模态数据采集方法采集异构多模态医疗数据,所述的多编码器策略首先使用Tokenizer、BERT以及One‑Hot编码器对图像识别、语音识别、鼠标键盘键入,以及生命监护仪导入的结果进行混合编码,所述的多模态信息融合方法使用低、高级别特征融合方法对编码后的图像、语音、文本多模态数据进行信息融合,最后使用基于机器学习的算法模型M1和M2对融合信息进行分类识别,实现患者严重等级和看病科室预测,以辅助医疗分诊。本发明的急诊分诊方法及系统可以代替和辅助人工分诊,从而提升分诊效率和准确性。

    一种连续体机器人可变刚度关节模块及控制方法

    公开(公告)号:CN117325206A

    公开(公告)日:2024-01-02

    申请号:CN202311374433.9

    申请日:2023-10-23

    申请人: 东南大学

    IPC分类号: B25J17/00 B25J13/00

    摘要: 一种连续体机器人可变刚度关节模块及控制方法,包括关节圆盘、法兰轴承、推件、橡胶垫、连接件、电机座、电机、传动螺杆、方向螺母、弹性棒、压缩弹簧滑槽、压缩弹簧、弹簧挡板、十字万向节,法兰轴承置于关节圆盘中间,推件固定于法兰轴承,所述的橡胶垫固定于推件末端,连接件置于推件上方,电机置于电机座并驱动传动螺杆转动,方向螺母套在传动螺杆上并推动推件与弹性棒接触,压缩弹簧滑槽置于关节圆盘,压缩弹簧一端固定于压缩弹簧滑槽内,弹簧挡板固定于推件上,十字万向节置于连接件与下一个关节圆盘之间,可变刚度关节模块能够实现关节弯曲时的刚度调节,从而提升有效载荷能力。

    一种用于公路桥梁水下墩柱检测的环抱爬行机器人及方法

    公开(公告)号:CN117184376A

    公开(公告)日:2023-12-08

    申请号:CN202311143125.5

    申请日:2023-09-05

    申请人: 东南大学

    摘要: 本发明公开了一种用于公路桥梁水下墩柱检测的环抱爬行机器人及方法。本发明主要用于公路桥梁工程中的水下墩柱的一体化养护管理。该机器人包括机身本体、水下照明系统、工具仓、深度计量模块、伺服动力系统、倾角测量模块、水下作业机械臂、阵列视觉模块、同步拉伸固定系统、从动轮。机器人具有环抱公路桥梁墩柱爬行的特点,可稳定运行于水下环境。机器人在清刷水下墩柱表面附着物后,进行病害视觉检测;在确定病害类别及定位信息后,进行病害信息回传。此检测机器人可在高速、浑浊水流情况下,环抱公路桥梁水下墩柱稳定爬行于任意深度并感知深度信息及视觉信息,达到公路桥梁水下墩柱病害检测的目的,可用于公路桥梁水下墩柱的维护。