公开(公告)号：CN117953561A

公开(公告)日：2024-04-30

申请号：CN202311645112.8

申请日：2023-12-04

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  李泽宇 ,  周晓阳 ,  包岩

IPC: G06V40/16 ,  G06V20/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464

Abstract: 本发明公开了一种基于Transformer和显著图的时空区三流微表情识别方法，包括：使用ResNet18从光流图中提取光流特征，将其传递给自注意力模块生成显著图；将显著图与微表情序列的峰值帧点乘，留下峰值帧中关键的微表情部分，利用ResNet18提取空间流特征后传递给自注意力模块；使用Vision Transformer从微表情起始帧中提取区域位置特征，包括人脸、五官区域位置信息；将光流特征、空间流特征和区域位置特征输入到Transformer，利用多头注意力机制进行特征融合，最后输入到softmax层进行分类。本发明最大程度上利用了微表情序列的起始帧和峰值帧，加强了各特征间的关联并且使得网络更加关注于人脸表情的细微运动变化。

公开(公告)号：CN118823845A

公开(公告)日：2024-10-22

申请号：CN202410809422.7

申请日：2024-06-21

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  袁中允 ,  谢林君 ,  蒋嘉铭 ,  周晓阳 ,  刘颖

IPC: G06V40/16 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明提出了一种基于双流DeepCCA卷积神经网络的新生儿疼痛情感识别方法，包括：对新生儿疼痛情感动态表情库进行预处理，得到符合网络输入要求的单帧图像和光流图；将得到的单帧图像和光流图作为输入，分别送入空间流和时间流的VGG16网络提取情感特征，并将提取出的情感特征进行对应拼接；基于DeepCCA算法，通过优化CCA_loss值使得空间流和时间流网络中的每个卷积模块提取出的特征相关性最大化；将最大化后的特征送入后续三个全连接层，并进行识别分类。本发明可以有效最大化空间流和时间流之间的数据特征相关性，进而提高模型对新生儿疼痛情感识别的准确率。

公开(公告)号：CN117975523A

公开(公告)日：2024-05-03

申请号：CN202311653026.1

申请日：2023-12-04

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  李彪 ,  周晓阳 ,  包岩

IPC: G06V40/16 ,  G06V10/80

Abstract: 本发明提供一种基于多层次特征和多头自注意力融合的面部表情识别方法，包括：RestNet50提取图像整体特征，得到表情图像的整体特征向量；Haar级联分类器定位人脸并进行面部关键点检测，将面部图像切割成五个局部区域并对每个区域提取特征；GCN处理图结构化数据，在图形数据中进行卷积操作提取特征；对三种特征使用LMMD来计算源域与目标域的多层次特征概率分布差异；将三种特征利用多头自注意力机制进行特征融合，得到的融合特征利用LMMD计算分布差异。本发明结合整体特征、局部特征及图卷积特征，利用多头自注意力机制进行特征融合，获得更加丰富全面的信息，提高了泛化性，采用LMMD减小源域和目标域之间的特征分布差异，通过子域自适应捕获到更多的细粒度信息。

公开(公告)号：CN117746908A

公开(公告)日：2024-03-22

申请号：CN202311672258.1

申请日：2023-12-07

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  汪雨果 ,  周晓阳 ,  包岩

IPC: G10L25/63 ,  G10L25/30 ,  G10L25/03 ,  G10L25/24

Abstract: 本发明提供一种基于时频特征分离式transformer交叉融合架构的语音情感识别方法，包括以下步骤S1、对原始语音信号进行预处理，将所述原始语音信号转换为相应的特征表示，包括语谱图和音频梅尔频率倒谱系数；S2、从所述特征表示中进行特征提取，使用两条支路提取特征，其中一条支路通过时频分离式transformer交叉融合架构提取特征，另一条支路通过扩张因果卷积网络提取特征；S3、进行特征融合，使用transformer的多头自注意力机制来动态地融合时频分离式transformer交叉融合架构和扩张因果卷积输出特征；S4、输出结果，使用输出层来对时频分离式transformer交叉融合架构的输出进行分类或回归，以使时频分离式transformer交叉融合架构适应训练数据，并对任务进行预测或分类。

公开(公告)号：CN117744022A

公开(公告)日：2024-03-22

申请号：CN202311644928.9

申请日：2023-12-04

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  史广坤 ,  严经纬 ,  周晓阳 ,  包岩

IPC: G06F18/25 ,  G06V40/16 ,  G06V10/82 ,  G06N3/0464 ,  G06F18/241

Abstract: 本发明提供了一种基于时空双向扩张因果卷积和Transfomer的多模态情感识别方法，包括：处理表情、语音模态的视频，得到表情序列和语谱图序列，提取姿态特征得到姿态特征序列；ResNet18网络处理表情和语音模态，得到特征图，重排列特征图构成对应的空间特征序列；对得到的空间特征序列通过空间注意力双向扩张因果卷积网络捕获空间上的依赖关系；再将表情和语音特征序列以及姿态特征序列送入时间注意力双向扩张因果卷积网络捕获时间上的依赖关系；将表情、语音、姿态特征堆叠得到特征矩阵，通过Transformer实现特征融合。本发明通过时空双向扩张因果卷积网络捕获模态内部的时空依赖，获得聚合了时空信息的高级模态特征，采用Transformer捕获模态间的特征交互，实现多模态特征融合。

公开(公告)号：CN119295856A

公开(公告)日：2025-01-10

申请号：CN202411430803.0

申请日：2024-10-14

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  陶旭昇 ,  周晓阳 ,  刘颖 ,  阳媛

IPC: G06V10/774 ,  G06T11/00 ,  G06V40/16 ,  G06V10/82 ,  G06V10/98 ,  G06N20/00 ,  G06N3/0464

Abstract: 本发明属于情感计算技术领域，具体涉及一种基于大语言模型的人脸表情数据集扩充方法；所述方法具体步骤为S1.利用表情数据库作为训练数据，对大语言模型进行微调；S2.将人脸数据库作为输入数据，利用提示工程引导大语言模型生成带有表情的人脸图像；S3.对S2生成的带有表情的人脸图像进行偏见性判断并对生成结果进行验证与优化；S4.收集S3中通过判断及优化完成的图像，实现人脸表情数据集的扩充。本发明利用大语言模型的图像生成能力去创建符合场景的人脸表情图像，从而支持人脸表情数据集的扩充，同时提出图像质量评估算法，实现对生成的人脸表情图像的筛选和验证，从而提升生成的图像质量。

公开(公告)号：CN118644884A

公开(公告)日：2024-09-13

申请号：CN202410809193.9

申请日：2024-06-21

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  蒋嘉铭 ,  袁中允 ,  谢林君 ,  周晓阳 ,  刘颖

IPC: G06V40/16 ,  G06V10/74 ,  G06V10/764 ,  G06V10/80

Abstract: 本发明公开了一种基于多头多层次特征稀疏transformer的新生儿疼痛表情识别方法，所述方法包括如下步骤：对新生儿疼痛表情图片进行预处理；构建多头多层次特征稀疏transformer网络模型，其中，所述网络模型包括特征选择与压缩模块和多层次特征融合模块；基于构建的网络模型对预处理后的新生儿疼痛表情图片进行感情识别。本发明通过多头特征选择与压缩模块对token进行修剪与压缩，同时通过多层次特征融合模块弥补因为修剪而丢失信息导致的精度下降，该方法在减少计算量的同时提高了分类的准确度。