一种基于深度信息和多维度卷积神经网络的人体动作识别方法

    公开(公告)号:CN107066979A

    公开(公告)日:2017-08-18

    申请号:CN201710254552.9

    申请日:2017-04-18

    CPC classification number: G06K9/00335 G06N3/08

    Abstract: 本发明请求保护一种基于深度信息和多维度卷积神经网络的人体动作识别方法,主要包括以下三个部分:在获取运动数据方面,通过体感设备Kinect获取人体运动的深度序列,得到人体运动的深度信息;在提取运动特征方面,利用深度运动图提取特征,获得深度序列的正面投影图、侧面投影图和俯视投影图;在人体动作识别方面,结合二维卷积神经网络和三维卷积神经网络的缺陷,提出了多维度卷积神经网络,实现人体动作识别。本发明不仅具有自学习特征,还可以从一个深度视频序列的数据集转移到不同的数据集,有较强的适应性,适用于人体动作的识别领域。

    一种基于多通道并行卷积神经网络的实时表情识别方法

    公开(公告)号:CN107491726B

    公开(公告)日:2020-08-04

    申请号:CN201710537921.5

    申请日:2017-07-04

    Abstract: 本发明请求保护一种基于多通道并行卷积神经网络的实时表情识别方法,包括以下步骤:从面部表情数据集中提取包含RGB与Depth图像的表情数据;对彩色图像进行局部二值化及提取面部关键点预处理,对深度图像进行梯度化预处理,将预处理后的图像分为训练集与测试集两部分并构建多通道并行卷积神经网络;将训练集中预处理后的图像送入网络中训练,获得学习了面部表情轮廓、立体分布及关键点特征的深度通道、lbp通道及关键点通道识别模型;将三种识别模型的分类结果采用最大置信融合,得到最终表情识别模型并构建实时表情识别系统。本发明增强了识别网络的鲁棒性,有效提升了实时表情识别系统的性能。

    一种基于多模态情感识别的虚拟学习环境自然交互方法

    公开(公告)号:CN106919251A

    公开(公告)日:2017-07-04

    申请号:CN201710014881.6

    申请日:2017-01-09

    CPC classification number: G06F3/011 G10L15/22 G10L25/63

    Abstract: 本发明请求保护一种基于多模态情感识别的虚拟学习环境自然交互方法,包括:获取表征学生学习状态的表情、姿态和语音信息,构建基于彩色图像、深度信息、语音信号和骨骼信息的多模态情感特征;对彩色和深度图像进行人脸检测、预处理和特征提取,用支持向量机SVM和AdaBoost方法混合进行人脸表情分类;其次对语音情感信息进行预处理和情感特征的提取,利用隐马尔可夫模型对语音情感进行识别;对骨骼信息进行规则化处理得到人体姿势表示向量,用多类支持向量机SVM进行姿势情感分类;对三类情感的识别结果构建求积规则融合算法在决策层进行融合,根据融合结果生成虚拟智能体的表情、语音和姿势等情感表现。

    一种基于多通道并行卷积神经网络的实时表情识别方法

    公开(公告)号:CN107491726A

    公开(公告)日:2017-12-19

    申请号:CN201710537921.5

    申请日:2017-07-04

    Abstract: 本发明请求保护一种基于多通道并行卷积神经网络的实时表情识别方法,包括以下步骤:从面部表情数据集中提取包含RGB与Depth图像的表情数据;对彩色图像进行局部二值化及提取面部关键点预处理,对深度图像进行梯度化预处理,将预处理后的图像分为训练集与测试集两部分并构建多通道并行卷积神经网络;将训练集中预处理后的图像送入网络中训练,获得学习了面部表情轮廓、立体分布及关键点特征的深度通道、lbp通道及关键点通道识别模型;将三种识别模型的分类结果采用最大置信融合,得到最终表情识别模型并构建实时表情识别系统。本发明增强了识别网络的鲁棒性,有效提升了实时表情识别系统的性能。

Patent Agency Ranking