公开(公告)号：CN112329683B

公开(公告)日：2024-01-26

申请号：CN202011276595.5

申请日：2020-11-16

Applicant: 常州大学

Inventor： 杨彪 ,  范福成 ,  徐黎明 ,  陈阳 ,  吕继东 ,  毕卉

IPC: G06V40/16 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464

Abstract: 本发明涉及一种多通道卷积神经网络人脸表情识别方法，首先通过Viola‑Jones人脸检测器和旋转校正从输入的灰度图像中检测出人脸区域，尽可能减少无关区域对人脸表情识别准确性的影响；其次将检测得到的人脸区域应用到深度图像和局部二值模式图像，得到三种具有互补性的人脸区域数据；然后采用单通道‑特征提取网络分别从三种类型的人脸区域数据中自动提取与表情相关的特征，并将提取得到的特征送入交互注意力融合模块中进行融合，该模块基于交互注意力机制提取任意两种人脸区域特征的空间相关性，从而实现了不同类型人脸区域的有效特征融合；最后将交互注意力融合模块输出的特征再次拼接融合后，通过全连接层进行特征变(56)对比文件BIAO YANG等.Facial ExpressionRecognition Using Weighted Mixture DeepNeural Network Based on Double-ChannelFacial Images.Translations and contentmining are permitted for academicresearch only.2017,第6卷4630-4640.Biao Yang等.Facial expressionrecognition based on dual-feature fusionand improved random forestclassifier.Multimedia Tools andApplications.2017,第77卷20477–20499.

公开(公告)号：CN112329683A

公开(公告)日：2021-02-05

申请号：CN202011276595.5

申请日：2020-11-16

Applicant: 常州大学

Inventor： 杨彪 ,  范福成 ,  徐黎明 ,  陈阳 ,  吕继东 ,  毕卉

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明涉及一种基于注意力机制融合的多通道卷积神经网络人脸表情识别方法，首先通过Viola‑Jones人脸检测器和旋转校正从输入的灰度图像中检测出人脸区域，尽可能减少无关区域对人脸表情识别准确性的影响；其次将检测得到的人脸区域应用到深度图像和局部二值模式图像，得到三种具有互补性的人脸区域数据；然后采用单通道‑特征提取网络分别从三种类型的人脸区域数据中自动提取与表情相关的特征，并将提取得到的特征送入交互注意力融合模块中进行融合，该模块基于交互注意力机制提取任意两种人脸区域特征的空间相关性，从而实现了不同类型人脸区域的有效特征融合；最后将交互注意力融合模块输出的特征再次拼接融合后，通过全连接层进行特征变换，并通过softmax操作最后得到表情识别结果。