一种基于大模型的展厅机器人视觉语言导航方法

    公开(公告)号:CN119309580A

    公开(公告)日:2025-01-14

    申请号:CN202411341616.5

    申请日:2024-09-25

    Abstract: 一种基于大模型的展厅机器人视觉语言导航方法,属于展厅机器人领域,本发明为解决现有展厅机器人存在的问题。本发明方法:展厅机器人多模态场景感知系统:感知当前场景,利用RGB图像和激光点云的融合特征获得候选目标物体;提取场景中所有候选目标物体的图像特征;展厅机器人多模态环境理解系统:展厅机器人接受语音指令,并利用视觉语言多模态大模型理解出目标物体及用户意图,然后从系统中提取该目标物体文本的高维语义特征,从候选目标物体中找出目标物体;基于多模态大模型的展厅机器人智能导航系统:展厅机器人按照意图生成的位姿序列进行路径规划与自主移动,并根据展厅机器人多模态场景感知系统提供的实时变化的场景动态调整自身行为。

    跨多种室内场景的视觉定位方法
    2.
    发明公开

    公开(公告)号:CN117058235A

    公开(公告)日:2023-11-14

    申请号:CN202311025048.3

    申请日:2023-08-15

    Abstract: 跨多种室内场景的视觉定位方法,解决了视觉定位场景坐标回归方法只能应用于特定场景的问题,属于视频图像拍摄视觉定位领域。本发明包括:在N个不同的场景中,采集数据,对采集的数据进行预处理;将场景中的RGB图像和深度图作为输入,将深度图中每个像素点所对应的场景坐标作为输出,搭建跨场景视觉定位网络,对跨场景视觉定位网络进行训练时,卷积层权重确定时采用自适应参数共享策略:根据待测的RGB图像和对应深度图像选择相应跨场景视觉定位网络的权值,再利用训练好的跨场景视觉定位网络对待测RGB图像进行预测,得到每个像素点的场景坐标,根据得到的场景坐标及对应深度图像中的像素坐标,计算相机位姿。

    一种基于稠密特征匹配的室内服务机器人重定位方法

    公开(公告)号:CN115578426A

    公开(公告)日:2023-01-06

    申请号:CN202211314225.5

    申请日:2022-10-25

    Abstract: 一种基于稠密特征匹配的室内服务机器人重定位方法,为解决基于关键帧的重定位算法的室内服务机器人在恶劣环境中无法精确定位的问题,根据室内场景的RGB图像和深度图像获取室内服务机器人的位姿,建立关键帧数据库,利用网络提取每张RGB图像的全局描述子组成全局描述子数据库;利用网络提取获得待查询RGB图像的全局描述子,计算全局描述子与全局描述子数据库的余弦相似度,将相似度最高的RGB图像作为检索图像;利用稠密特征匹配网络建立待查询RGB图像和检索图像特征点的关系;根据检索图像对应的位姿计算检索图像的特征点对应的路标点,建立待查询RGB图像特征点与路标点的关系;获得待查询RGB图像对应的室内服务机器人的位姿。

    一种多传感器融合位姿估计算法
    4.
    发明公开

    公开(公告)号:CN115540860A

    公开(公告)日:2022-12-30

    申请号:CN202211172443.X

    申请日:2022-09-26

    Abstract: 本发明涉及传感器位姿估算技术领域,具体是公开一种多传感器融合位姿估计算法算法,惯性导航系统的建模与标定,包括确定坐标系,惯性导航系统的IMU设备输出建模,确定IMU运动学模型;基于卡尔曼滤波将惯性导航系统输出的姿态信息与视觉SLMA得到的姿态信息进行姿态融合,包括输入视觉SLMA的视觉传感器与惯性导航系统的IMU设备各自的自由度信息,通过卡尔曼滤波预测过程通过卡尔曼滤波更新过程;不断迭代更新系统方程实现滤波,包括确定误差量表示状态方程,将下一时刻系统信息通过卡尔曼滤波预测过程,将下一时刻系统信息通过卡尔曼滤波的更新过程,该算法修正了IMU本身存在的累计误差,同时解决视觉相机输出频率低,旋转时跟踪易失败等问题。

    一种面向机器人磨抛的轮毂自动装夹变位机

    公开(公告)号:CN114770379A

    公开(公告)日:2022-07-22

    申请号:CN202210571513.2

    申请日:2022-05-24

    Abstract: 一种面向机器人磨抛的轮毂自动装夹变位机,属于轮毂加工技术领域,本发明为了解决现有轮毂加工平台不能对轮毂进行定位和固定,致使加工精度较低,而且现有汽车轮毂加工用变位器轮毂尺寸固定,适用性差,固定方法不方便操作,装夹效率低的问题,本发明提供的一种面向机器人磨抛的轮毂自动装夹变位机包括基座、驱动机构、转台、辅助固定机构、中心定位轴组件和N个夹持固定组件,N为大于3的正整数,该变位机用做机器人磨抛辅助设备,面对轮毂复杂曲面,工业机器人结构以及磨抛工具限制了末端磨抛的轨迹,本发明提供的变位机适用于回转工作的磨抛变位,以得到理想的加工位置和磨抛速度。

    一种高稳定性磨抛机器人偏置手腕结构

    公开(公告)号:CN113103249A

    公开(公告)日:2021-07-13

    申请号:CN202110308627.3

    申请日:2021-03-23

    Abstract: 一种高稳定性磨抛机器人偏置手腕结构,属于复杂表面工件磨抛设备技术领域。本发明解决了现有的机器人手腕结构末端灵巧性及稳定较差的问题。它包括四轴手腕体、五轴传动组件、六轴传动组件、五轴手腕体以及末端输出法兰,其中所述四轴手腕体与机器人固接;所述六轴传动轴、五轴传动轴由内至外依次同轴转动安装在四轴手腕体内,四轴手腕体、五轴传动轴及六轴传动轴均为长轴,且每个传动轴的首端均加工有内花键。磨抛机器人的五轴能够360°自由转动,能够大大增加磨抛机器人末端运动的灵活度。传动轴均为长轴,实现较大的工作空间,保证机器人末端灵巧性。各传动轴分别通过花键轴连接至各自的电机输出轴上,缩短了传动链,保证各传动轴的同轴度。

    基于多线结构光焊缝跟踪传感器的焊枪末端位姿识别方法

    公开(公告)号:CN112975222A

    公开(公告)日:2021-06-18

    申请号:CN202110239920.9

    申请日:2021-03-04

    Abstract: 基于多线结构光焊缝跟踪传感器的焊枪末端位姿识别方法,本发明解决了现有非标准件焊接时存在不易测量焊件与焊枪末端的相对位姿的问题。本发明将基于多线结构光的焊缝跟踪传感器固定在焊枪的末端;并获取基于多线结构光的焊缝跟踪传感器的物理参数;利用所述物理参数及焊接过程中多线结构光的焊缝跟踪传感器拍摄的图像,建立焊缝跟踪传感器的俯仰角和升降高度的解耦方程;获取焊枪末端的俯仰角与升降高度;根据焊枪末端的俯仰角与升降高度,利用奇异值分解方法求解焊枪末端的横滚角。本发明适用于焊枪末端位姿测量。

    一种用于智能机器人RGB-D-T信息感知的传感器集成装置

    公开(公告)号:CN112936348A

    公开(公告)日:2021-06-11

    申请号:CN202110239875.7

    申请日:2021-03-04

    Abstract: 一种用于智能机器人RGB‑D‑T信息感知的传感器集成装置,所述装置包括括固定座、RGB‑D相机舱、RGB‑D相机、水平旋转件和俯仰件;所述固定座与RGB‑D相机舱相连,RGB‑D相机舱的一端设置有开口,RGB‑D相机固定设置在舱内,RGB‑D相机的镜头向开口方向设置;RGB‑D相机舱上有水平旋转件,俯仰件设置在水平旋转件上,水平旋转件带动装置做水平旋转件运动,俯仰件带动装置做俯仰件运动;本发明有效部署深度视觉传感器与热红外传感器,组成一体化装置,易于与移动机器人集成,有效解决服务机器人在RGB‑D‑T多模态信息融合,有效解决在机器人上使用的热红外相机和RGB‑D相机的视场角差异大、匹配尺度不一致问题,提升智能机器人环境感知能力和服务作业水平。

    一种组合式机器人末端负载测试装置

    公开(公告)号:CN110181559A

    公开(公告)日:2019-08-30

    申请号:CN201910563485.8

    申请日:2019-06-26

    Abstract: 一种组合式机器人末端负载测试装置,它涉及机器人末端负载测试领域。本发明解决了传统的机器人末端负载测试方法需要贮备不同的负载模型,存在拆装繁琐,设置偏心负载困难的问题。本发明包括负载盘、负载块和猫眼夹持装置,负载盘为法兰结构,负载盘的一侧端面上同轴设有第一定位凸台,负载盘通过多个法兰连接螺栓与负载块连接;猫眼夹持装置为T型结构,猫眼夹持装置的一侧端面上设有第二定位凸台,猫眼夹持装置的另一侧端面上设有用于夹持靶球的靶球夹持孔,猫眼夹持装置通过两个夹持连接螺栓与负载块连接。本发明用于实现机器人末端负载的不同质量和偏置情况的配置,提高了效率和负载的使用率。

    一种模块化机械臂柔性关节

    公开(公告)号:CN106863349B

    公开(公告)日:2019-07-09

    申请号:CN201710265203.7

    申请日:2017-04-21

    Abstract: 本发明提出了一种模块化机械臂柔性关节,包括关节输入装置、减速装置、串联弹性驱动器、关节输出装置、关节外壳及底座,所述关节输入装置的一端与减速装置相连,另一端与底座相连,所述减速装置与串联弹性驱动器相连,所述串联弹性驱动器与关节输出装置相连,所述关节输出装置与关节外壳相连。本发明将模块化思想融入到柔性机械臂的设计中,根据实际需要可进行任意组合成不同自由度的柔性机械臂,通过测量圆盘式弹簧内外圈旋转角度差估计关节输出端力矩,圆盘式弹簧内外圈旋转角度差转化为直滑式位移传感器进行测量。

Patent Agency Ranking