-
公开(公告)号:CN112800894A
公开(公告)日:2021-05-14
申请号:CN202110061153.7
申请日:2021-01-18
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于时空流间注意力机制的动态表情识别方法及系统。该方法首先采集面部表情视频片段,建立包含表情类别标签的人脸表情视频库;然后构建一种嵌入时空流间注意力机制模块的双流卷积神经网络模型,该模型包括数据处理层、空间流支路、时间流支路、时空流间注意力机制模块、特征融合层、全连接层以及分类层;接着使用人脸表情视频库中的视频样本训练该模型;最后利用训练好的模型,对新输入的视频进行人脸表情识别。该方法通过在双流卷积神经网络中嵌入时空流间注意力机制模块,能够实现空域特征和时域特征的信息交互,从而捕捉空域特征和时域特征之间的动态关联信息,获得鉴别能力强的特征,提升人脸表情识别的准确性和鲁棒性。
-
公开(公告)号:CN108363969A
公开(公告)日:2018-08-03
申请号:CN201810105264.1
申请日:2018-02-02
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于移动终端的新生儿疼痛评估方法,该方法包括:(1)采集新生儿疼痛表情图像,将所述表情图像分类,将所述表情图像裁剪成a×a像素的彩色图像;(2)构建一个包含1个数据层、19个卷积层、1个池化层、1个全连接层和1个分类层的卷积神经网络;(3)将数据库分为训练集和验证集,对卷积神经网络进行训练,得到优化后的网络模型;(4)将训练好的网络模型移植到移动终端,生成新生儿疼痛评估应用程序;(5)开启所述新生儿疼痛评估应用程序,并将识别结果显示在移动终端上。本发明针对智能手机等移动终端的处理能力,优化设计了深度卷积神经网络的结构,采用深度学习方法来提取新生儿疼痛表情特征,分类识别准确率高。
-
公开(公告)号:CN108363962A
公开(公告)日:2018-08-03
申请号:CN201810071146.3
申请日:2018-01-25
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于多层次特征深度学习的人脸检测方法及系统。该方法包括获取训练集和验证集图像及图像的标签信息;将图像及标签输入深度卷积神经网络中,对网络进行训练和调优,得到人脸检测模型;将测试图像输入到训练好的模型进行人脸检测。其中神经网络包括用于提取第一层次特征的第一网络模块,用于提取第二层次特征的第二网络模块,以及包括两个支路,分别用于完成人脸分类任务和人脸位置坐标回归任务的第三网络模块。本发明在不同层次的特征图上进行检测,解决了现有方法中采用分阶段方式存在的效率慢、步骤繁琐和泛化能力差的问题,在保证高检测精度的同时也达到了实时检测的效果,并且对人脸图像的光照与遮挡问题具有很好的鲁棒性。
-
-