公开(公告)号：CN115471897A

公开(公告)日：2022-12-13

申请号：CN202211184244.0

申请日：2022-09-27

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  于凯

IPC: G06V40/16 ,  G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于时空特征点运动注意力和子域自适应的跨库面部表情识别方法和系统。该方法包括以下步骤：截取数据库中视频的主要部分，满足相同长度并对其分帧；检测每个视频人脸、动作的时空特征点，计算每帧图片对应特征点处的权重值，形成面部时空特征点权重图；构建基于时空特征点运动注意力的深度子域自适应网络；将获得的表情提取特征输入SVM分类器、softmax层，输出得到分类结果。本发明充分利用时空特征点，有效结合人脸面部信息和运动信息，准确地反映肌肉运动出现的人脸区域，使用局部最大均值差异LMMD，减小源域和目标域之间的特征分布差异，通过子域自适应捕获到更多的细粒度信息，获得比深度域自适应的方法更好的识别效果。

公开(公告)号：CN115517680A

公开(公告)日：2022-12-27

申请号：CN202211222664.3

申请日：2022-10-08

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  李婧 ,  高崧皓 ,  于凯 ,  丁俊丰 ,  徐峰峰

IPC: A61B5/16 ,  A61B5/369 ,  G06N3/04 ,  G06N3/08 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06V40/16 ,  G06V40/70

Abstract: 本发明公开了一种基于多阶段注意力网络架构NMSNet的多模态情感识别方法和实施该方法的系统。该识别方法包括以下步骤：步骤一、对各个单模态特征进行简单的特征提取后，送入NAM残差模块；步骤二、对单模态特征进行特征选择之后，送入多头注意力网络进行特征融合；以及步骤三、融合之后的特征送入分段小波注意力模块进行滤波。本发明提出了一种新的多阶段注意力网络架构NMSNet，来学习多模态情感特征融合，通过上述步骤，最大程度上实现了注意力权重分配，使得模型专注于对情感识别更为重要的部分，同时构建了新的多阶段注意力网络架构NMSNet。