公开(公告)号：CN114973413A

公开(公告)日：2022-08-30

申请号：CN202210615104.8

申请日：2022-06-01

Applicant: 扬州大学

Inventor： 徐晓华 ,  许亭亭 ,  何萍 ,  夏应玺 ,  叶进

IPC: G06V40/20 ,  G06V10/82 ,  G06V10/46 ,  G06V10/26 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明公开了一种基于单个RGB图像的三维手势识别方法与系统，首先通过手部分割网络生成只包含手的手部掩膜，原始的RGB图像利用手部掩膜裁剪出只包含手的手部图像；然后利用残差网络提取裁剪的手部图像的特征，减少计算量和防止过拟合；再利用二维关键点检测网络将卷积神经网络整合进可以学习信息丰富的空间信息模型序列化的预测框架，不断对手的关键点位置进行细化；最后重构三维关键点，利用二维关键点生成三维关键点，输出最有可能的手势。本发明对基于单个RGB图像的三维手势识别方法进行了充分的探索，从而达到可以在虚拟场景通过手势建立最直接的人机交互方式，让机器理解人类的表达。