-
公开(公告)号:CN119550345A
公开(公告)日:2025-03-04
申请号:CN202411892699.7
申请日:2024-12-20
Applicant: 同济大学
IPC: B25J9/16
Abstract: 本发明涉及一种结合通用与专用模型的机器人动作生成方法及系统,其中,所述的方法包括:构建通用模型和专用模型,对所述的通用模型进行预训练,对预训练后的通用模型进行参数微调,并基于微调后的通用模型训练所述的专用模型;获取任务指令和实时视觉信息,将所述的任务指令和和实时视觉信息输入微调后的通用模型,输出动作序列和任务潜在特征;获取实时点云感知数据,并将所述的实时点云感知数据与所述的动作序列和任务潜在特征输入训练后的专用模型,输出机器人连续动作。与现有技术相比,本发明提高了机器人动作生成的速度以及增强了机器人动作生成的泛化性。
-
公开(公告)号:CN119526414A
公开(公告)日:2025-02-28
申请号:CN202411871795.3
申请日:2024-12-18
Applicant: 同济大学
IPC: B25J9/16
Abstract: 本发明涉及一种机器人动作生成模型训练方法和动作生成方法,模型训练步骤包括:构建汽车线束操作数据集,并提取人体姿态;基于所述的数据集和人体姿态构建指令集;预训练运动分词器;获取文本‑动作词汇表;基于所述的数据集、指令集和文本‑动作词汇表预训练语言模型;构建操作数据集,基于操作数据集对预训练后的语言模型进行微调,完成训练。所述的生成方法利用经过模型训练方法训练好的模型输出人形动作序列,并将人形动作序列重定向于机器人上完成机器人动作生成。与现有技术相比,本发明提高了生成模型的泛用性,还可生成更符合汽车线束操作的机器人动作,提高了机器人操作汽车线束的灵活性。
-
公开(公告)号:CN118832572B
公开(公告)日:2025-02-28
申请号:CN202410784417.5
申请日:2024-06-18
Applicant: 同济大学
IPC: B25J9/16 , G06N3/0464 , G06N3/0442 , G06N5/04 , G06N3/0455 , G06V10/40
Abstract: 本发明涉及一种机器人视觉语言导航的动作自适应方法和系统,包括:确定机器人可行动作空间数值范围,并生成随机动作;基于随机动作与环境交互所得变化,利用机器人动作影响自编码模块得到动作嵌入向量;基于动作嵌入向量,对比数据集中特定动作并计算差异,确定当前执行动作及对应的语义含义;基于确定性的动作与环境交互所得,利用交叉模态注意力特征提取模块,得到机器人视觉语言多模态特征;基于机器人视觉语言多模态特征,作为扩散策略决策模块条件,迭代推理出机器人下一步执行动作;对机器人状态进行更新,直至到达目标结束本次导航任务。与现有技术相比,本发明具有增强机器人动作自适应的鲁棒性和准确性等优点。
-
公开(公告)号:CN118071934B
公开(公告)日:2025-02-28
申请号:CN202410368408.8
申请日:2024-03-28
Applicant: 同济大学
IPC: G06T17/00 , G06V10/80 , G06N3/0464 , G06N3/0455
Abstract: 本发明涉及一种基于单视角RGBD融合网络的手物交互重建方法,步骤包括:将手物交互的对齐RGBD图像的深度图转化为点云,并应用特征编码器从中提取RGB特征和点特征;融合所提取的RGB特征和点特征,生成密集RGBD特征;采用SDF特征编码器将密集RGBD特征生成手物形状编码,通过手物几何特征估计模块预测手物的姿态参数和物体位置;通过几何傅里叶特征编码模块处理基于每个三维查询点相对于手腕的旋转和平移以及物体的平移,获得手物几何编码;采用手和物体SDF解码器利用手物形状编码和手物几何编码估计每个三维查询点的SDF重建手和物体形状。与现有技术相比,本发明更充分融合了RGB和深度信息,实现了几何精细的手物交互重建。
-
公开(公告)号:CN118915802A
公开(公告)日:2024-11-08
申请号:CN202410971117.8
申请日:2024-07-19
Applicant: 同济大学
IPC: G05D1/49 , G05D109/12
Abstract: 本发明涉及一种腿部受损的四足机器人运动控制方法,针对四足机器人构建CPG节律控制器;当四足机器人腿部发生故障时进行四足机器人的正常以及腿部受损四足机器人运动策略进行切换;其中,四足机器人运动策略采用双层强化学习框架:高层强化学习根据当前机器人状态和参考命令生成CPG参数,并生成关节参考轨迹;底层强化学习对生成的参考关节轨迹进行微调,得到目标关节角度;累加关节参考轨迹与目标关节角度,并进一步计算得到当前机器人关节扭矩指令。本发明使机器人能够模仿正常运动及腿部受伤时的步态性质,并通过双层PPO强化学习模型对CPG的参数以及关节角度进行调节,解决了腿部受损四足机器人行走鲁棒性和环境适应性的难题。
-
公开(公告)号:CN115727854B
公开(公告)日:2024-11-05
申请号:CN202211503493.1
申请日:2022-11-28
Applicant: 同济大学
Abstract: 本发明公开了一种基于BIM结构信息的VSLAM定位方法,属于室内定位领域,包括移动智能体、BIM数据库、边缘计算设备、用户接口,移动智能体采集视觉传感器获取的RGB/RGBD图像,控制移动机器人位姿;BIM数据库存储从BIM模型中提取的建筑物三维结构和语义信息;边缘计算设备和移动智能体相连接,包括CAD重建网络和VSLAM算法两个主要线程,通过CAD重建网络求解9‑DoFCAD模型和VSLAM算法求解当前位姿、优化轻量化结构地图;用户接口接收用户命令,获取移动智能体位置,发送移动智能体控制信号并监控边缘计算设备运行情况,本发明利用BIM模型提供的结构化信息为机器人提供准确的定位源,同时避免传统的建图任务,具有轻量化、精度高等优势。
-
公开(公告)号:CN116232854B
公开(公告)日:2024-10-11
申请号:CN202310210815.1
申请日:2023-03-07
Applicant: 同济大学
IPC: H04L41/0631 , H04L41/0677 , H04L43/12 , H04L43/08 , H04L43/04
Abstract: 本申请公开一种基于逻辑故障探针的CPS节点故障识别方法和系统,在该方法中,针对CPS节点集群中的每一CPS节点,基于为所述CPS节点所配置的信号采样模块进行采样,以确定相应的CPS节点状态数据;其中,所述CPS节点状态信息包括节点模态状态;基于各个CPS节点的节点标识信息,对所采样的各个CPS节点状态数据分别进行标识;根据经标识的各个CPS节点状态数据进行故障分析,以确定所述CPS节点集群中的每一CPS节点的故障状态结果。由此,提供了一套完整可行的CPS逻辑故障探针技术,能够对CPS系统中各个节点的故障特征进行自动化识别和定位,实现了对无人系统故障的自动化监测。
-
公开(公告)号:CN115017704B
公开(公告)日:2024-09-06
申请号:CN202210635206.6
申请日:2022-06-07
Applicant: 同济大学
IPC: G06F30/20 , G06Q50/02 , G06F119/14
Abstract: 本发明涉及无线传感器网络技术领域,特别是指一种动静态节点耦合的虫害重点区域感知的覆盖方法及系统,该方法包括:获取移动感知节点位置、障碍物位置、静态感知节点位置以及虫害重点区域位置;确定障碍物产生的第一斥力势场以及移动感知节点受障碍物的总斥力;确定静态感知节点产生的第二斥力势场以及移动感知节点受静态感知节点的总斥力;确定虫害重点区域产生的第三引力势场以及移动感知节点受虫害重点区域的引力;确定移动感知节点运动时受到的合力;基于合力的引导,完成面向森林虫害重点区域感知的动静态节点耦合覆盖。采用本发明,可以有效避免感知节点重复覆盖导致的资源浪费,从而完成动静态节点耦合的协同覆盖任务。
-
公开(公告)号:CN116533247B
公开(公告)日:2024-07-23
申请号:CN202310629052.4
申请日:2023-05-31
Applicant: 同济大学
IPC: B25J9/16
Abstract: 本发明涉及一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法,包括以下步骤:采集目标物体图像,构建卷积神经网络,输出目标物体的位置;选取部分目标物体的位置对机械臂进行抓取示教任务,收集机械臂末端轨迹以及人手部肌电信号;将肌电信号转化为刚度信息,并利用DMP建模,确定阻抗DMP模型参数;构建全连接神经网络并进行DMP参数训练;针对特定任务,利用全连接神经网络输出的阻抗DMP模型参数对轨迹与刚度进行建模,基于阻抗控制的方法控制机械臂依照轨迹和刚度进行任务的执行。与现有技术相比,本发明能够很好地将少量示教泛化到机械臂自主执行的特定抓取任务中。
-
公开(公告)号:CN117901114A
公开(公告)日:2024-04-19
申请号:CN202410184129.6
申请日:2024-02-19
Applicant: 同济大学
IPC: B25J9/16
Abstract: 本发明涉及一种基于关键点检测的柔性布料操纵方法,包括以下步骤:步骤1、构建双臂机器人工作空间,所述工作空间包括顶部深度相机,通过所述深度相机对操纵区域内的布料状态及周围环境进行视觉数据的实时捕捉;步骤2、定义多种动作原语;步骤3、利用VIT‑Transformer解码多种动作原语,生成操作策略,输出得到需要执行的动作;步骤4、通过Swin‑Transformer对布料进行关键点检测和识别,选择操作策略,生成动作指令;步骤5、将动作指令发送至双臂机器人,通过双臂机器人执行动作指令。与现有技术相比,本发明能够提高操作效率、提升适应性、提升准确性、降低实施成本以及广泛应用等优点。
-
-
-
-
-
-
-
-
-