公开(公告)号：CN115359562A

公开(公告)日：2022-11-18

申请号：CN202211007786.0

申请日：2022-08-22

Applicant: 南京邮电大学

Inventor： 孙力娟 ,  高奇志 ,  郭剑 ,  韩崇 ,  王娟 ,  王长龙 ,  朱东晟

IPC: G06V40/20 ,  G06V10/25 ,  G06V10/26 ,  G06V10/32 ,  G06V10/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 基于卷积神经网络的手语字母拼写识别方法，利用卷积神经网络提取手部深度图特征并进行手语字母拼写识别。深度相机获取到手语图片及深度图片后，将之送给目标检测网络提取出精确的手部目标图片及精确的深度图片；待手部目标提取完毕，将深度图片通过基于灰度值伪色彩线性变换及色域分割算法来分割精确手语手势目标，通过色彩融合算法补充丢失手语手势信息。分割完毕通过灰度化、局部区域二值化对图片进行像素处理为单通道二值图来降低网络输入参数量，图片预处理完成。最后将预处理后的手语手势图片送入卷积神经网络进行特征提取，将提取出的特征与全连接层相连接，通过softmax分类器进行分类。训练完毕，保存网络模型并用来进行手语字母拼写识别。