公开(公告)号：CN114973416A

公开(公告)日：2022-08-30

申请号：CN202210639728.3

申请日：2022-06-07

Applicant: 哈尔滨理工大学

Inventor： 杨明极 ,  刘冬雨

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/25 ,  G06V10/26 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于三维卷积网络的手语识别算法，属于手语识别算法领域。现有的手语识别方法忽略了细节信息，导致复杂手势难以识别。一种基于三维卷积网络的手语识别算法，包括基于Mask RCNN目标检测网络的局部手语识别，通过三维卷积网络进行手部位置特征及时间序列建模；将视频逐帧发送到目标检测网络，将Mask RCNN输出的手部时间序列发送到3D‑VGGNet进行局部特征空时编码；基于深度3D残差网络的注意力模型记为AM‑ResC3D；采用多组随机分段采样算法提取关键帧片段；建立基于全局注意模型的3D残差网络改进的识别网络将原始RGB视频分割为视频片段，将采样帧发送到AM‑ResC3D，输出特征图；上述两种数据流进行融合，得到最终的识别结果。本发明提高识别精度和泛化性能。