公开(公告)号：CN110046558A

公开(公告)日：2019-07-23

申请号：CN201910241791.X

申请日：2019-03-28

Applicant: 东南大学

Inventor： 李冰 ,  郑钦文 ,  王亚洲 ,  张林 ,  刘勇 ,  董乾 ,  王刚 ,  赵霞

IPC: G06K9/00 ,  G06K9/62 ,  G06F3/01 ,  G06N3/04

Abstract: 本发明公开了一种用于机器人控制的手势识别方法，包括：获取当前控制者图像中身体的RGB信息、深度信息和骨骼信息；采用阈值分割方法得出左右手坐标位置，获取控制者左手待识别手势的RGB图和深度图，预处理后输入到CNN网络，提取左手待识别手势的RGB和深度特征向量且合并后输入第一SVM分类器识别，输出左手待识别手势标签；判断当前是否需要开启动态识别线程，若判断为否，则返回采集当前控制者图像；否则采集右手手势视频流，输入到循环3DCNN网络和第二SVM分类器识别，输出得到右手手势对应标签；转换成控制指令，并通过PID算法实时控制机器人的移动。本发明使用静态和动态手势相结合的方式，在运算量较大的同时具有很高的准确率，减小系统的资源占用。