公开(公告)号：CN115272908A

公开(公告)日：2022-11-01

申请号：CN202210707463.6

申请日：2022-06-21

Applicant: 南京邮电大学

Inventor： 丁俊丰 ,  闫静杰

IPC: G06V20/40 ,  G06N3/04 ,  G06N3/08 ,  G06V10/40 ,  G06V10/764 ,  G06V10/82 ,  G10L15/02 ,  G10L15/04 ,  G10L15/08 ,  G10L25/24 ,  G10L25/93

Abstract: 本发明提供了一种基于改进Transformer的多模态情感识别方法和实施该方法的系统。该方法包括以下步骤：对视频、语音、文本数据库中的每个模态进行预处理，提取各样本数据特征，每个数据样本生成一个二维特征向量；通过跨模态注意力模型，获取两种模态间全局交互的特征；通过自注意力模型，获取单模态内全局交互的特征；构建由BiGRU2D替代多头注意力模块的改进Transformer模型，提取深层次特征；利用处理好的数据样本对构建网络模型进行训练，将训练好的模型用于多元情感的分类。本发明不仅提取了模态间的交互特征，还考虑了模态内的交互特征信息，并且通过改进的轻量级Transformer编码器提取高级特征，更快速、高效的解决了情感分类问题。

公开(公告)号：CN115517680A

公开(公告)日：2022-12-27

申请号：CN202211222664.3

申请日：2022-10-08

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  李婧 ,  高崧皓 ,  于凯 ,  丁俊丰 ,  徐峰峰

IPC: A61B5/16 ,  A61B5/369 ,  G06N3/04 ,  G06N3/08 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06V40/16 ,  G06V40/70

Abstract: 本发明公开了一种基于多阶段注意力网络架构NMSNet的多模态情感识别方法和实施该方法的系统。该识别方法包括以下步骤：步骤一、对各个单模态特征进行简单的特征提取后，送入NAM残差模块；步骤二、对单模态特征进行特征选择之后，送入多头注意力网络进行特征融合；以及步骤三、融合之后的特征送入分段小波注意力模块进行滤波。本发明提出了一种新的多阶段注意力网络架构NMSNet，来学习多模态情感特征融合，通过上述步骤，最大程度上实现了注意力权重分配，使得模型专注于对情感识别更为重要的部分，同时构建了新的多阶段注意力网络架构NMSNet。