公开(公告)号：CN117612226A

公开(公告)日：2024-02-27

申请号：CN202311372315.4

申请日：2023-10-23

Applicant: 南京邮电大学

Inventor： 孙宁 ,  尤长伟 ,  王月

IPC: G06V40/16 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/084

Abstract: 本发明提供一种嵌入特权信息进行强化的面部表情识别方法和系统，方法包括以下步骤：对真实环境人脸面部表情图像进行预处理，分别得到语音特征梅尔图谱和文本特征语义张量；将后两种数据作为特权信息，构建大规模端到端的神经网络结构MPI‑FER；在训练阶段，实现多模态特权信息的嵌入；对三种模态的数据提取的特征进行基于跨模态注意力和自注意力机制的融合，提升表情识别的性能；在测试阶段，仅需要输入人脸表情图像就能够生成对应的梅尔图谱和语义信息，进而进行多模态融合，得到预测类别。本发明的方法和系统提高了真实环境下表情识别率和鲁棒性，面部表情识别准确率优于单/多模态方式的情感识别结果准确率。

公开(公告)号：CN119559472A

公开(公告)日：2025-03-04

申请号：CN202411625181.7

申请日：2024-11-14

Applicant: 南京邮电大学

Inventor： 孙宁 ,  王月 ,  张维亮

IPC: G06V10/80 ,  G06V20/70 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/0895 ,  G06N3/096

Abstract: 本发明公开了一种多模态情感识别方法及系统，涉及图像处理技术领域，包括以下步骤：获取多模态情感数据和缺失情感数据，并进行标注，得到标注后的多模态情感数据和缺失情感数据，其中，所述多模态情感数据包括图像、语音和文本特征；将标注后的多模态情感数据和缺失情感数据输入至预先建立的基于蒸馏机制与对比学习的可训练的深度神经网络模型内，输出得到融合特征和更新的单模态特征；基于融合特征和更新的单模态特征，生成正负样本，基于正负样本将融合特征输入至全连接层，得到情感识别预测结果。