仿生机械手的手势识别控制方法、系统、设备和存储介质

    公开(公告)号:CN116884095A

    公开(公告)日:2023-10-13

    申请号:CN202311153305.1

    申请日:2023-09-08

    Applicant: 烟台大学

    Abstract: 本发明涉及图像处理技术领域,具体为仿生机械手的手势识别控制方法、系统、设备和存储介质,通过将手部图像浅层的低级特征图,深层的高级特征图和多尺度特征图经第一注意力机制处理后进行特征融合,得到融合特征图;基于残差值特征图与融合特征图,得到不同的待测手部特征图;接着,通过边界框回归确定图像检测范围,基于置信度大小筛选出有利于检测的最优检测框图,并与手势数据库的匹配结果来确定手势识别结果;最后,将手势识别结果通信传输至仿生机械手,仿生机械手并给出相应交互结果,实现了仿生机械手的准确、灵活控制;且在大量图像信息中筛选出关键信息进行手势识别结果的计算,在保证控制结果准确度的基础上,提高计算效率。

    一种基于图像处理的仿生手控制方法、系统和设备

    公开(公告)号:CN116766213B

    公开(公告)日:2023-11-03

    申请号:CN202311068254.2

    申请日:2023-08-24

    Applicant: 烟台大学

    Abstract: 本发明涉及图像处理技术领域,具体为一种基于图像处理的仿生手控制方法、系统和设备,该控制方法通过获取手部图像中的关节信息,确定关节区域,得到的初始锚点区域集图经特征处理、方差筛选、回归检测和筛选处理后,获得当前待测手部图的最优锚点集;当前待测手部图的最优锚点信息与相邻帧手部图的最优锚点信息,经加权平均处理后,得到当前待测手部图的关键手部节点集;通过关键手部节点集的坐标信息,确定手势识别结果;将手势识别结果通信传输至仿生手,仿生手并给出相应交互结果,实现了仿生手的准确、灵活控制;且在大量图像信息中筛选出关键信息进行手势识别结果的计算,在保证控制结果准确度的基础上,提高计算效率。

    基于手部骨架的虚拟现实控制方法、系统、设备及介质

    公开(公告)号:CN117420917A

    公开(公告)日:2024-01-19

    申请号:CN202311743426.1

    申请日:2023-12-19

    Applicant: 烟台大学

    Abstract: 本发明公开一种基于手部骨架的虚拟现实控制方法、系统、设备及介质,涉及虚拟现实技术领域,包括:获取手势图像并进行实例分割,得到手部目标区域候选框,采用通道注意力机制对手部目标区域候选框进行修正后,得到手部目标区域;采用训练后的手部关键点检测模型,对手部目标区域提取骨骼点矩阵;通过样条插值方法对骨骼点矩阵进行重标定,得到更新后的骨骼点矩阵;根据更新后的骨骼点矩阵在虚拟空间中映射为手势信息,由此控制操作虚拟对象。通过多视图图像训练模型,使其具有从2D推断三维信息的能力,同时通过对骨骼点矩阵进行重标定,达到防抖动与跳变的效果,提升识别准确性与稳定性。

    一种基于图像处理的仿生手控制方法、系统和设备

    公开(公告)号:CN116766213A

    公开(公告)日:2023-09-19

    申请号:CN202311068254.2

    申请日:2023-08-24

    Applicant: 烟台大学

    Abstract: 本发明涉及图像处理技术领域,具体为一种基于图像处理的仿生手控制方法、系统和设备,该控制方法通过获取手部图像中的关节信息,确定关节区域,得到的初始锚点区域集图经特征处理、方差筛选、回归检测和筛选处理后,获得当前待测手部图的最优锚点集;当前待测手部图的最优锚点信息与相邻帧手部图的最优锚点信息,经加权平均处理后,得到当前待测手部图的关键手部节点集;通过关键手部节点集的坐标信息,确定手势识别结果;将手势识别结果通信传输至仿生手,仿生手并给出相应交互结果,实现了仿生手的准确、灵活控制;且在大量图像信息中筛选出关键信息进行手势识别结果的计算,在保证控制结果准确度的基础上,提高计算效率。

Patent Agency Ranking