一种基于视觉混合的机械臂位姿检测方法

    公开(公告)号:CN116704017A

    公开(公告)日:2023-09-05

    申请号:CN202310998840.0

    申请日:2023-08-09

    Abstract: 本发明公开了一种基于视觉混合的机械臂位姿检测方法,其特征在于,方法包括、S1、获取机械臂的目标检测数据与关键点检测数据,并进行预处理;S2、机械臂目标检测框选,通过神经网络模型对机械臂目标检测对应的PASCAL VOC数据集进行训练,框选出机械臂的整体信息;S3、机械臂骨架信息检测,通过神经网络模型对机械臂关键点检测对应的COCO数据集进行训练,获取机械臂的骨架信息;S4、机械臂骨架三维角度测算,利用机械臂的三维空间信息测算机械臂在不同位姿下的弯曲角度信息。本发明的一种基于视觉混合的机械臂位姿检测方法,能够实现实时检测机械臂的目标检测框选信息与骨架信息,并通过同步获取到的三维空间信息测算机械臂在不同位姿下的弯曲角度。

    一种基于视觉混合的机械臂位姿检测方法

    公开(公告)号:CN116704017B

    公开(公告)日:2023-11-14

    申请号:CN202310998840.0

    申请日:2023-08-09

    Abstract: 本发明公开了一种基于视觉混合的机械臂位姿检测方法,其特征在于,方法包括、S1、获取机械臂的目标检测数据与关键点检测数据,并进行预处理;S2、机械臂目标检测框选,通过神经网络模型对机械臂目标检测对应的PASCAL VOC数据集进行训练,框选出机械臂的整体信息;S3、机械臂骨架信息检测,通过神经网络模型对机械臂关键点检测对应的COCO数据集进行训练,获取机械臂的骨架信息;S4、机械臂骨架三维角度测算,利用机械臂的三维空间信息测算机械臂在不同位姿下的弯曲角度信息。本发明的一种基于视觉混合的机械臂位姿检测方法,能够实现实时检测机械臂的目标检测框选信息与骨架信息,并通过同步获取到的三维空间信息测算机械臂在不同位姿下的弯曲角度。

    一种基于卷积神经网络的机器人姿态估计方法及系统

    公开(公告)号:CN118893636B

    公开(公告)日:2025-01-21

    申请号:CN202411396563.7

    申请日:2024-10-09

    Applicant: 烟台大学

    Abstract: 本发明涉及神经网络技术领域,尤其是涉及一种基于卷积神经网络的机器人姿态估计方法及系统。方法,包括获取工业机器人姿态信息数据;对获取的工业机器人姿态信息数据进行自动化标注,得到数据集;对数据集进行预处理;利用预处理后的数据集训练卷积神经网络模型;利用训练好的卷积神经网络模型对机器人进行姿态估计。本发明通过自动化标注与手工校准相结合的方法,生成高精度的工业机器人臂姿态数据集,克服了传统方法中手工标注耗时和不精确的问题。

    一种基于多模态多任务学习的机器人分类检测方法及系统

    公开(公告)号:CN118506107A

    公开(公告)日:2024-08-16

    申请号:CN202410954465.4

    申请日:2024-07-17

    Applicant: 烟台大学

    Abstract: 本发明涉及机器人技术领域,尤其是涉及一种基于多模态多任务学习的机器人分类检测方法及系统,包括S1.构建多模态数据集并进行数据预处理;S2.将语义信息数据集和图像数据集进行对齐;S3.构建多模态目标检测模型,将多模态数据集输入模型进行多任务学习,对多模态数据集进行特征提取,并将提取后的视觉图像特征和语义信息特征进行特征融合,利用核心语义注意力机制计算机器人的视觉图像特征的加权和,通过优化加权和完成对模型进行训练。本发明提出了一种基于多模态多任务学习的机器人分类检测方法,融合机器人的图像与语义信息,提升检测时文本与图像的特征交互性,使检测模型具备更高的准确性与鲁棒性。

    一种基于双手交互姿态估计的仿生机械手控制方法及系统

    公开(公告)号:CN118305818B

    公开(公告)日:2024-08-13

    申请号:CN202410733032.6

    申请日:2024-06-07

    Applicant: 烟台大学

    Abstract: 本发明涉及计算机视觉技术领域,尤其是涉及一种基于双手交互姿态估计的仿生机械手控制方法及系统。所述方法,包括获取图像数据集,包括获取手部姿态和形状的数据集,并对获取的数据集进行整合;基于获取的手部姿态数据集进行手部姿态估计,包括构建并利用神经网络模型进行手部姿态的特征提取;利用轻量级神经网络模型对手部姿态数据集中手部图像进行特征分析,得到双手的姿态信息;根据特征分析结果进行轻量级神经网络模型训练;通过双手的姿态信息进行姿态对齐和映射,基于姿态对齐和映射生成仿生机械手的控制信息。本发明通过采用轻量级神经网络架构,实现了对两只手之间相对位置的准确预测,使机械手在执行任务时更加准确和可靠。

    一种基于多尺度图卷积神经网络的人机协作方法

    公开(公告)号:CN116665312B

    公开(公告)日:2023-10-31

    申请号:CN202310959781.6

    申请日:2023-08-02

    Applicant: 烟台大学

    Abstract: 本发明公开了一种基于多尺度图卷积神经网络的人机协作方法;该方法包括如下步骤:S1、数据采集:采集人机协作场景人体骨架数据集,并进行预处理,获取预处理数据;S2、模型训练:加载预处理数据。通过训练多尺度图卷积神经网络,获取人体行为识别网络模型;S3、人体行为识别:通过训练好的深度学习网络模型,预测人体行为;S4、人机交互:利用通信算法将预测信息发送到机器人系统,机器人基于人体行为做出动作规划。本发明的一种多尺度图卷积神经网络的人机协作方法,能够实现在真实场景机器人对人体行为及意图的预测,并做出正确交互,从而弥补传统机器人只能完成重复性工作的不足。

    基于手部骨架的虚拟现实控制方法、系统、设备及介质

    公开(公告)号:CN117420917A

    公开(公告)日:2024-01-19

    申请号:CN202311743426.1

    申请日:2023-12-19

    Applicant: 烟台大学

    Abstract: 本发明公开一种基于手部骨架的虚拟现实控制方法、系统、设备及介质,涉及虚拟现实技术领域,包括:获取手势图像并进行实例分割,得到手部目标区域候选框,采用通道注意力机制对手部目标区域候选框进行修正后,得到手部目标区域;采用训练后的手部关键点检测模型,对手部目标区域提取骨骼点矩阵;通过样条插值方法对骨骼点矩阵进行重标定,得到更新后的骨骼点矩阵;根据更新后的骨骼点矩阵在虚拟空间中映射为手势信息,由此控制操作虚拟对象。通过多视图图像训练模型,使其具有从2D推断三维信息的能力,同时通过对骨骼点矩阵进行重标定,达到防抖动与跳变的效果,提升识别准确性与稳定性。

Patent Agency Ranking