一种热源定位成像方法、系统、设备及存储介质

    公开(公告)号:CN115930947A

    公开(公告)日:2023-04-07

    申请号:CN202211607004.7

    申请日:2022-12-14

    Applicant: 同济大学

    Abstract: 本申请实施例涉及机器人多模态感知技术领域,特别涉及一种热源定位成像方法、系统、设备及存储介质,该方法包括:基于电子皮肤,构建温度传感器阵列;并基于电子皮肤的惯性测量单元,对温度传感器阵列的实时相对位姿进行定位、校准,得到视觉信息;基于机械臂的位移,获取网格化的空间温度矩阵,并计算空间温度梯度向量;将空间温度梯度向量输入神经网络,重建空间温度场;对空间温度场进行辨识,进行热源定位,得到温度场信息;将温度场信息和视觉信息进行融合,获取多模态一体成像。本申请实施例提供的热源定位成像方法,利用电子皮肤上的温度传感器阵列与其他传感器融合,获取以热成像为主的多源融合成像,并实现破坏重组功能。

    一种智能体多维度本体增量式认知系统及方法

    公开(公告)号:CN119807712A

    公开(公告)日:2025-04-11

    申请号:CN202411976287.1

    申请日:2024-12-31

    Applicant: 同济大学

    Abstract: 本发明涉及一种智能体多维度本体增量式认知系统及方法。本发明包括本体运动感知模块、本体认知评估模块、记忆池模块、本体知识挖掘模块和本体认知培育模块;其中,本体运动感知模块用于得到多模态数据;本体认知评估模块用于利用多模态数据得到本体认知量化误差;记忆池模块用于数据存储;本体知识挖掘模块用于利用多模态数据挖掘建立本体知识库;本体认知培育模块用于构建本体认知模型,并在本体认知量化误差和本体知识库的指导下对本体认知模型训练。与现有技术相比,本发明具有对本体多维度特征表征与感知、提高认知数据准确性和减小整体误差等优点。

    一种基于事件驱动的环境感知电子皮肤系统

    公开(公告)号:CN115582835B

    公开(公告)日:2025-02-28

    申请号:CN202211251825.1

    申请日:2022-10-13

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于事件驱动的环境感知电子皮肤系统,包括可扩展的模块化多模态感知单元组成的电子皮肤硬件、数据处理单元和多层次的数据融合环境感知算法。该电子皮肤系统能够包裹于机器人全身,可以实时、全方位地对机器人周围环境进行多模态信息测量。可测量信息包括温度、接近、加速度和压力信息等。多层次的数据融合环境感知算法可以实现物体运动估计,定位和身份识别功能。与现有技术相比,该电子皮肤系统使得机器人具备类人的触觉,并弥补其视觉盲区;该系统一方面能够使得机器人在环境中更加安全地作业,另一方面有效地提高了机器人的环境感知能力,并提高了信息的利用率。

    一种多模态特征信息统一表征及提取方法

    公开(公告)号:CN119202673A

    公开(公告)日:2024-12-27

    申请号:CN202411380056.4

    申请日:2024-09-30

    Applicant: 同济大学

    Abstract: 本发明涉及一种多模态特征信息统一表征及提取方法,方法包括以下步骤:S1、监测机器人的当前智能体是否跟外界物体发生物理接触,若接触且所执行任务为具身交互任务时,生成隐式特征推断指令;S2、将交互力数据特征以及交互位移‑交互速度特征进行时序配对得到交互界面处交互力‑相对速度‑交互位移时序数据;S3、构建隐式信息表征模型,采用梯度下降方法对模型的表征参数进行拟合,当误差结果小于置信度度量矩阵时基于模型得到物体空间网格特征预测值。与现有技术相比,本发明具有提高机器人的智能体控制的鲁棒性和泛化能力等优点。

    一种基于环境信息主动感知的智能体具身交互规划方法

    公开(公告)号:CN119077739A

    公开(公告)日:2024-12-06

    申请号:CN202411378786.0

    申请日:2024-09-30

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于环境信息主动感知的智能体具身交互规划方法,方法包括以下步骤:S1、获取对齐的环境信息以及智能体与物体交互界面处的信息;S2、将语义特征信息、智能体作业环境和交互特性参数进行多模态信息融合表征,得到环境多维信息;S3、获取具身交互感知信号,基于所述具身交互感知信号进行机器人动作的可预期性判断,若结果为在预期内,则基于环境多维信息和规划的具体任务步骤,基于能量梯度的方法生成一系列的具身交互动作,机器人执行具身交互动作;反之基于交互特性参数能量梯度的方法生成一系列的具有交互力特性的交互动作,机器人执行交互动作。与现有技术相比,本发明具有提高机器动作安全性等优点。

    一种面向紧密物理交互的机器人仿人行为规划与控制方法

    公开(公告)号:CN119077734A

    公开(公告)日:2024-12-06

    申请号:CN202411316401.8

    申请日:2024-09-20

    Applicant: 同济大学

    Abstract: 本发明涉及一种面向紧密物理交互的机器人仿人行为规划与控制方法,包括如下步骤:步骤S1,通过动作捕捉获取机器人与人类紧密交互的演示数据;步骤S2,基于演示数据,利用先验知识和聚类分析,得到多个人类行为模式类别;步骤S3,基于人类行为模式类别,通过对演示数据进行分段和标定,得到多组包括类行为模式标签的运动原语序列并构建层次性有向图,通过训练得到机器人行为规划器;步骤S4,构建目标轨迹和动作空间之间的动态一致的映射模型,基于映射模型和规划器,实现机器人仿人行为规划与控制。与现有技术相比,本发明包含了机器人仿人行为实现的全流程,可以有效提升机器人执行紧密物理交互任务的效率,同时具有可解释性等优点。

    一种三维重构及路径规划方法、装置、设备及存储介质

    公开(公告)号:CN115741717A

    公开(公告)日:2023-03-07

    申请号:CN202211565181.3

    申请日:2022-12-07

    Applicant: 同济大学

    Abstract: 本申请实施例涉及机器人多模态感知技术领域,特别涉及一种三维重构及路径规划方法装置、设备及存储介质,该方法包括:基于电子皮肤,构建三维感知阵列;然后,获取三维的网格空间,并从网格空间中提取轮廓向量;对轮廓向量进行三维分解,得到轮廓数据并平滑处理;接下来,将轮廓数据合成为三维轮廓,提取时间序列数据;基于时间序列数据得到物体的三维空间信息;基于机器人的相对位姿,对三维空间信息进行修正并获取当前全局环境特征向量;最后,基于当前全局环境特征向量以及强化学习算法,获取路径规划信息。本申请实施例提供的三维重构及路径规划方法,能够提高响应速度,实现实时、精确地对物体进行三维重构以及未知复杂环境路径规划。

    一种人机安全交互控制方法

    公开(公告)号:CN115625707A

    公开(公告)日:2023-01-20

    申请号:CN202211262473.X

    申请日:2022-10-14

    Applicant: 同济大学

    Abstract: 本发明涉及一种人机安全交互控制方法,包括:获得接近觉数据和加速度数据;对障碍物进行定位,获得障碍物静态特征值;判断是否会发生触碰;构建虚拟斥力场,划定虚拟斥力场所在区域为危险作业区域;通过关节力矩控制方法调控速度在安全阈值内;检测是否与障碍物触碰;对触碰的障碍物进行身份识别,判断障碍物是否是人且接触力超过人机安全阈值,若是,进行急停并且原路返回,否则,基于虚拟斥力场重新规划路径。与现有技术相比,本发明提出了针对电子皮肤多模动态异构感知信息的融合算法,包括多源异构信息融合的虚拟力场构建、障碍物身份识别等,提高了电子皮肤信息的利用效率和感知精度。

    一种基于视觉和语言模型的可形变物体操纵方法和装置

    公开(公告)号:CN119501933A

    公开(公告)日:2025-02-25

    申请号:CN202411640054.4

    申请日:2024-11-18

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于视觉和语言模型的可形变物体操纵方法和装置,方法包括:对可形变物体搭建操作环境,该操作环境包括用于采集可形变物体视觉数据的摄像头和用于操纵可形变物体的机械臂;在操作环境下对可形变物体进行视觉信息捕捉,得到图像数据,并记录对应的语言指令;通过语言模型根据语言指令,提取出关键动作和目标对象,生成操作指令;通过视觉处理模型根据图像数据提取出空间特征;将空间特征和操作指令融合,通过机器学习算法,生成最终的操作策略;将操作策略转化为机械臂的执行指令,以操纵可形变物体;与现有技术相比,本发明显著提高了机器人处理柔性物体的精度与效率,为智能制造、家居和服务等领域的应用提供了有效的技术支持。

    一种人机安全交互控制方法

    公开(公告)号:CN115625707B

    公开(公告)日:2025-01-24

    申请号:CN202211262473.X

    申请日:2022-10-14

    Applicant: 同济大学

    Abstract: 本发明涉及一种人机安全交互控制方法,包括:获得接近觉数据和加速度数据;对障碍物进行定位,获得障碍物静态特征值;判断是否会发生触碰;构建虚拟斥力场,划定虚拟斥力场所在区域为危险作业区域;通过关节力矩控制方法调控速度在安全阈值内;检测是否与障碍物触碰;对触碰的障碍物进行身份识别,判断障碍物是否是人且接触力超过人机安全阈值,若是,进行急停并且原路返回,否则,基于虚拟斥力场重新规划路径。与现有技术相比,本发明提出了针对电子皮肤多模动态异构感知信息的融合算法,包括多源异构信息融合的虚拟力场构建、障碍物身份识别等,提高了电子皮肤信息的利用效率和感知精度。

Patent Agency Ranking