公开(公告)号：CN111401117B

公开(公告)日：2022-08-26

申请号：CN201910748936.5

申请日：2019-08-14

Applicant: 南京邮电大学

Inventor： 吕方惠 ,  闫静杰 ,  李海波 ,  朱康 ,  宋宇康 ,  卢官明

IPC: G06V40/16 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于双流卷积神经网络的新生儿疼痛表情识别方法，该方法首先将视频进行分帧处理，接着在多个连续的帧之间添加光流位移场获得对应的光流信息以得到光流图。然后构造出一个共用Attention双流卷积神经网络，该网络是在双流卷积神经网络的基础上添加了共用Attention模块，该网络主要由两个预训练的VGG16网络和共用Attention模块组成。在该网络中，首先从各帧图像序列中选择表情变化最大的一帧作为其中一路VGG16网络的输入，我们将该路网络称为空间信息网络，然后将光流图作为另一路VGG16网络的输入，我们称该路网络为时间信息网络。最后将通过两路网络后的特征图进行级联并输入全连接层进行新生儿疼痛表情分类。

公开(公告)号：CN111401117A

公开(公告)日：2020-07-10

申请号：CN201910748936.5

申请日：2019-08-14

Applicant: 南京邮电大学

Inventor： 吕方惠 ,  闫静杰 ,  李海波 ,  朱康 ,  宋宇康 ,  卢官明

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明公开了一种基于双流卷积神经网络的新生儿疼痛表情识别方法，该方法首先将视频进行分帧处理，接着在多个连续的帧之间添加光流位移场获得对应的光流信息以得到光流图。然后构造出一个共用Attention双流卷积神经网络，该网络是在双流卷积神经网络的基础上添加了共用Attention模块，该网络主要由两个预训练的VGG16网络和共用Attention模块组成。在该网络中，首先从各帧图像序列中选择表情变化最大的一帧作为其中一路VGG16网络的输入，我们将该路网络称为空间信息网络，然后将光流图作为另一路VGG16网络的输入，我们称该路网络为时间信息网络。最后将通过两路网络后的特征图进行级联并输入全连接层进行新生儿疼痛表情分类。