公开(公告)号：CN116012915A

公开(公告)日：2023-04-25

申请号：CN202310003298.0

申请日：2023-01-03

Applicant: 南京邮电大学

Inventor： 孙宁 ,  宋耀 ,  尤长伟

IPC: G06V40/16 ,  G06V10/82 ,  G06V10/26 ,  G06V10/52 ,  G06V10/80 ,  G06N3/045 ,  G06N3/048 ,  G06N3/096

Abstract: 本发明提出了一种基于全局自注意力机制和几何深度学习的面部表情识别方法和系统，该方法包括以下步骤：对真实环境人脸面部表情图像进行预处理，同一张图像分别进行分割和关键点提取，得到等分的图像块和面部关键点拓扑图；构建端到端可训练的基于全局自注意力机制的神经网络模型AGT；利用前述步骤得到的面部表情图像块与面部关键点拓扑作为输入，对AGT进行训练；以及识别新的人脸图像的表情类别时，将经过前述步骤得到的面部表情图像块与面部关键点拓扑输入到AGT网络模型中以得到该图像的表情类别。本发明的方法和系统提高了真实环境面部表情识别的识别率和鲁棒性，此外，从不同尺度的面部拓扑中提取表情信息，进一步了提高网络的特征提取能力。