公开(公告)号：CN114582000A

公开(公告)日：2022-06-03

申请号：CN202210271127.1

申请日：2022-03-18

Applicant: 南京工业大学

Inventor： 陈震环 ,  李为相 ,  程明

IPC: G06V40/16 ,  G06V10/774 ,  G06V10/764 ,  G06K9/62 ,  G06N3/04 ,  G10L15/02 ,  G10L15/06 ,  G10L15/08

Abstract: 本发明公开了一种基于视频图像面部表情和语音的多模态老人情绪识别融合模型及其建立方法，包括如下步骤：Step1：收集老人面部表情图像作为面部表情训练数据，将面部表情训练数据经过Gabor锐化人脸纹理，得到纹理锐化后的Gabor图像，作为纹理锐化后的面部表情训练样本；Step2：获取纹理锐化后的面部表情训练样本，将改进卷积神经网络在纹理锐化后的面部表情训练样本上进行训练，得到图像情绪识别模型。本发明提供的技术方案，解决了老人面部纹理粗糙，语音频率过低的问题，并且有效的提高了老人情绪识别的准确率，有较强的推广价值。

公开(公告)号：CN113408649A

公开(公告)日：2021-09-17

申请号：CN202110781866.0

申请日：2021-07-09

Applicant: 南京工业大学

Inventor： 陈震环 ,  李为相 ,  王传昱

IPC: G06K9/62 ,  G06K9/00 ,  G10L25/63 ,  G10L25/30 ,  G10L25/24 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于视频图像面部表情和语音的多模态儿童情绪识别模型，涉及情绪识别领域。在视频图像模态上，将面部表情训练数据使用Gabor滤波增强人脸纹理，然后将纹理增强后面部表情训练数据在稠密卷积神经网络(D)上进行训练，得到视频图像模态情绪识别模型；在语音模态上，将训练数据集的GFCC特征与MFCC特征进行融合，再输入至语音模态模型中进行训练，语音模态使用CGRU网络，CGRU网络由卷积神经网络(CNN)、门控循环单元(GRU)网络融合；最后将CGRU与SVM连接，得到语音情绪识别模型。视频图像模态识别结果和语音模态识别结果依据权值准则在决策层进行融合，实现多模态儿童情绪识别。本发明提供的技术方案，有效的提高儿童情绪识别的准确率，有较强的推广价值。