公开(公告)号：CN115517680A

公开(公告)日：2022-12-27

申请号：CN202211222664.3

申请日：2022-10-08

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  李婧 ,  高崧皓 ,  于凯 ,  丁俊丰 ,  徐峰峰

IPC: A61B5/16 ,  A61B5/369 ,  G06N3/04 ,  G06N3/08 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06V40/16 ,  G06V40/70

Abstract: 本发明公开了一种基于多阶段注意力网络架构NMSNet的多模态情感识别方法和实施该方法的系统。该识别方法包括以下步骤：步骤一、对各个单模态特征进行简单的特征提取后，送入NAM残差模块；步骤二、对单模态特征进行特征选择之后，送入多头注意力网络进行特征融合；以及步骤三、融合之后的特征送入分段小波注意力模块进行滤波。本发明提出了一种新的多阶段注意力网络架构NMSNet，来学习多模态情感特征融合，通过上述步骤，最大程度上实现了注意力权重分配，使得模型专注于对情感识别更为重要的部分，同时构建了新的多阶段注意力网络架构NMSNet。