公开(公告)号：CN118823845A

公开(公告)日：2024-10-22

申请号：CN202410809422.7

申请日：2024-06-21

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  袁中允 ,  谢林君 ,  蒋嘉铭 ,  周晓阳 ,  刘颖

IPC: G06V40/16 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明提出了一种基于双流DeepCCA卷积神经网络的新生儿疼痛情感识别方法，包括：对新生儿疼痛情感动态表情库进行预处理，得到符合网络输入要求的单帧图像和光流图；将得到的单帧图像和光流图作为输入，分别送入空间流和时间流的VGG16网络提取情感特征，并将提取出的情感特征进行对应拼接；基于DeepCCA算法，通过优化CCA_loss值使得空间流和时间流网络中的每个卷积模块提取出的特征相关性最大化；将最大化后的特征送入后续三个全连接层，并进行识别分类。本发明可以有效最大化空间流和时间流之间的数据特征相关性，进而提高模型对新生儿疼痛情感识别的准确率。

公开(公告)号：CN118644884A

公开(公告)日：2024-09-13

申请号：CN202410809193.9

申请日：2024-06-21

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  蒋嘉铭 ,  袁中允 ,  谢林君 ,  周晓阳 ,  刘颖

IPC: G06V40/16 ,  G06V10/74 ,  G06V10/764 ,  G06V10/80

Abstract: 本发明公开了一种基于多头多层次特征稀疏transformer的新生儿疼痛表情识别方法，所述方法包括如下步骤：对新生儿疼痛表情图片进行预处理；构建多头多层次特征稀疏transformer网络模型，其中，所述网络模型包括特征选择与压缩模块和多层次特征融合模块；基于构建的网络模型对预处理后的新生儿疼痛表情图片进行感情识别。本发明通过多头特征选择与压缩模块对token进行修剪与压缩，同时通过多层次特征融合模块弥补因为修剪而丢失信息导致的精度下降，该方法在减少计算量的同时提高了分类的准确度。