公开(公告)号：CN117744022A

公开(公告)日：2024-03-22

申请号：CN202311644928.9

申请日：2023-12-04

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  史广坤 ,  严经纬 ,  周晓阳 ,  包岩

IPC: G06F18/25 ,  G06V40/16 ,  G06V10/82 ,  G06N3/0464 ,  G06F18/241

Abstract: 本发明提供了一种基于时空双向扩张因果卷积和Transfomer的多模态情感识别方法，包括：处理表情、语音模态的视频，得到表情序列和语谱图序列，提取姿态特征得到姿态特征序列；ResNet18网络处理表情和语音模态，得到特征图，重排列特征图构成对应的空间特征序列；对得到的空间特征序列通过空间注意力双向扩张因果卷积网络捕获空间上的依赖关系；再将表情和语音特征序列以及姿态特征序列送入时间注意力双向扩张因果卷积网络捕获时间上的依赖关系；将表情、语音、姿态特征堆叠得到特征矩阵，通过Transformer实现特征融合。本发明通过时空双向扩张因果卷积网络捕获模态内部的时空依赖，获得聚合了时空信息的高级模态特征，采用Transformer捕获模态间的特征交互，实现多模态特征融合。

公开(公告)号：CN117076905A

公开(公告)日：2023-11-17

申请号：CN202311029486.7

申请日：2023-08-16

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  郝昊 ,  严经纬

IPC: G06F18/213 ,  G06F18/25 ,  G06N3/0464 ,  G06N3/048 ,  A61B5/369

Abstract: 本发明提供了一种基于双流时空不对称生理区域划分的脑电情感识别方法。该识别方法包括以下步骤：步骤一、对脑电信号进行分频提取后送入动态时间层；步骤二、把提取完时频特征的脑电信号按照生理分为额叶、颞叶、顶叶、枕叶四个区域，并将其送入不对称空间层作为第一流；步骤三、对原始脑电信号先进行分区，同样分为额叶、颞叶、顶叶、枕叶四个区域，送入不对称空间层；步骤四、把提取完空间特征的信号送入动态时间层，作为第二流；步骤五、将第一流中的四个区域外加全局脑电区共五个区域和第二流五个区域一起送入高级融合层进行融合。与现有技术相比，本发明实现了不同生理区域在特定情感上的权重分配，使得脑电各个区域对情感识别更加敏锐。