基于手部骨架的虚拟现实控制方法、系统、设备及介质

    公开(公告)号:CN117420917A

    公开(公告)日:2024-01-19

    申请号:CN202311743426.1

    申请日:2023-12-19

    Applicant: 烟台大学

    Abstract: 本发明公开一种基于手部骨架的虚拟现实控制方法、系统、设备及介质,涉及虚拟现实技术领域,包括:获取手势图像并进行实例分割,得到手部目标区域候选框,采用通道注意力机制对手部目标区域候选框进行修正后,得到手部目标区域;采用训练后的手部关键点检测模型,对手部目标区域提取骨骼点矩阵;通过样条插值方法对骨骼点矩阵进行重标定,得到更新后的骨骼点矩阵;根据更新后的骨骼点矩阵在虚拟空间中映射为手势信息,由此控制操作虚拟对象。通过多视图图像训练模型,使其具有从2D推断三维信息的能力,同时通过对骨骼点矩阵进行重标定,达到防抖动与跳变的效果,提升识别准确性与稳定性。

Patent Agency Ranking