公开(公告)号：CN117612226A

公开(公告)日：2024-02-27

申请号：CN202311372315.4

申请日：2023-10-23

Applicant: 南京邮电大学

Inventor： 孙宁 ,  尤长伟 ,  王月

IPC: G06V40/16 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/084

Abstract: 本发明提供一种嵌入特权信息进行强化的面部表情识别方法和系统，方法包括以下步骤：对真实环境人脸面部表情图像进行预处理，分别得到语音特征梅尔图谱和文本特征语义张量；将后两种数据作为特权信息，构建大规模端到端的神经网络结构MPI‑FER；在训练阶段，实现多模态特权信息的嵌入；对三种模态的数据提取的特征进行基于跨模态注意力和自注意力机制的融合，提升表情识别的性能；在测试阶段，仅需要输入人脸表情图像就能够生成对应的梅尔图谱和语义信息，进而进行多模态融合，得到预测类别。本发明的方法和系统提高了真实环境下表情识别率和鲁棒性，面部表情识别准确率优于单/多模态方式的情感识别结果准确率。

公开(公告)号：CN116012915A

公开(公告)日：2023-04-25

申请号：CN202310003298.0

申请日：2023-01-03

Applicant: 南京邮电大学

Inventor： 孙宁 ,  宋耀 ,  尤长伟

IPC: G06V40/16 ,  G06V10/82 ,  G06V10/26 ,  G06V10/52 ,  G06V10/80 ,  G06N3/045 ,  G06N3/048 ,  G06N3/096

Abstract: 本发明提出了一种基于全局自注意力机制和几何深度学习的面部表情识别方法和系统，该方法包括以下步骤：对真实环境人脸面部表情图像进行预处理，同一张图像分别进行分割和关键点提取，得到等分的图像块和面部关键点拓扑图；构建端到端可训练的基于全局自注意力机制的神经网络模型AGT；利用前述步骤得到的面部表情图像块与面部关键点拓扑作为输入，对AGT进行训练；以及识别新的人脸图像的表情类别时，将经过前述步骤得到的面部表情图像块与面部关键点拓扑输入到AGT网络模型中以得到该图像的表情类别。本发明的方法和系统提高了真实环境面部表情识别的识别率和鲁棒性，此外，从不同尺度的面部拓扑中提取表情信息，进一步了提高网络的特征提取能力。