公开(公告)号：CN112784763A

公开(公告)日：2021-05-11

申请号：CN202110107709.1

申请日：2021-01-27

Applicant: 南京邮电大学

Inventor： 卢官明 ,  张法鹏 ,  卢峻禾

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/08

Abstract: 本发明公开了一种基于局部与整体特征自适应融合的表情识别方法及系统。该方法首先获取表情图像集，对表情图像集中的图像进行人脸检测、裁剪和对齐处理；然后构建一种表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层，其中，特征融合模块使用注意力机制学习人脸整体图像及其多个局部区域图像特征的注意力权重，并基于注意力权重自适应选择重要特征进行加权融合；再使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练；最后利用训练好的表情识别模型对新输入的测试图像进行表情分类识别。本发明可自适应地融合来自整个人脸及未被遮挡的重要区域的表情特征，有效解决遮挡和姿态变化环境下的表情识别问题。

公开(公告)号：CN112784763B

公开(公告)日：2022-07-29

申请号：CN202110107709.1

申请日：2021-01-27

Applicant: 南京邮电大学

Inventor： 卢官明 ,  张法鹏 ,  卢峻禾

IPC: G06V40/16 ,  G06V10/80 ,  G06V10/774 ,  G06V10/764 ,  G06K9/62 ,  G06V10/82 ,  G06N3/08

Abstract: 本发明公开了一种基于局部与整体特征自适应融合的表情识别方法及系统。该方法首先获取表情图像集，对表情图像集中的图像进行人脸检测、裁剪和对齐处理；然后构建一种表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层，其中，特征融合模块使用注意力机制学习人脸整体图像及其多个局部区域图像特征的注意力权重，并基于注意力权重自适应选择重要特征进行加权融合；再使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练；最后利用训练好的表情识别模型对新输入的测试图像进行表情分类识别。本发明可自适应地融合来自整个人脸及未被遮挡的重要区域的表情特征，有效解决遮挡和姿态变化环境下的表情识别问题。