-
公开(公告)号：CN112784763A
公开(公告)日：2021-05-11
申请号：CN202110107709.1
申请日：2021-01-27
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于局部与整体特征自适应融合的表情识别方法及系统。该方法首先获取表情图像集，对表情图像集中的图像进行人脸检测、裁剪和对齐处理；然后构建一种表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层，其中，特征融合模块使用注意力机制学习人脸整体图像及其多个局部区域图像特征的注意力权重，并基于注意力权重自适应选择重要特征进行加权融合；再使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练；最后利用训练好的表情识别模型对新输入的测试图像进行表情分类识别。本发明可自适应地融合来自整个人脸及未被遮挡的重要区域的表情特征，有效解决遮挡和姿态变化环境下的表情识别问题。
-
公开(公告)号：CN111402927A
公开(公告)日：2020-07-10
申请号：CN201910784181.4
申请日：2019-08-23
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于分段语谱图和双重Attention的语音情感识别方法，所述方法包括：1)将数据库中的语音音频信号进行分段并把每段音频转换成带有语音情感信息的语谱图；2)采用预训练的VGG16网络提取语谱图中深度语音情感特征；3)对深度语音情感特征进行空间和通道两个方向的权重学习，获得加权后的深度语音情感特征；4)把FC2输出的深度语音情感特征输入到全连接层FC3进行情感分类,FC3输出识别好的语音情感类别。通过本发明能够自主的学习到语谱图中各个区域以及特征图的各个通道对语音情感识别的重要性，提高后续的语音情感识别率；推动基于语音的智能人机交互应用。
-
公开(公告)号：CN111401116A
公开(公告)日：2020-07-10
申请号：CN201910743860.7
申请日：2019-08-13
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于增强卷积和空时LSTM网络的双模态情感识别方法，使用预训练VGG16和LSTM网络，构建出本发明的基于立方体Attention的增强卷积和空时LSTM网络结构，包括以下步骤：(1)截取数据库中视频的主要部分，满足相同长度并对其分帧；(2)检测数据库中每个视频人脸、动作的空时特征点，根据每帧图片设置对应特征点处的权重值，形成立方体Attention部分权重图；(3)构建基于立方体Attention增强卷积和空时LSTM的结合网络；(4)通过上述步骤处理的表情、动作视频分别提取特征，将获得的表情和姿态特征串联融合并输入SVM分类器、softmax层，输出得到分类结果。提取到含有表情和姿态信息特征进行双模态分类，获得比传统特征学习方法更好的情感识别效果。
-
公开(公告)号：CN106782602B
公开(公告)日：2020-03-17
申请号：CN201611093447.3
申请日：2016-12-01
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于长短时间记忆网络和卷积神经网络的语音情感识别方法，该方法构建基于LSTM和CNN的语音情感识别系统，将语音序列作为系统的输入，采用反向传播算法对LSTM和CNN进行训练，优化网络的参数，得到优化后的网络模型；利用已经训练好的网络模型对新输入的语音序列进行情感分类，分为悲伤、高兴、厌恶、恐惧、惊吓、中性六种情感。该方法综合考虑了LSTM和CNN两种网络模型，避免了人工选择和提取特征的繁琐，提高了情感识别的准确率。
-
公开(公告)号：CN110309816A
公开(公告)日：2019-10-08
申请号：CN201910628182.X
申请日：2019-07-12
Applicant: 南京邮电大学
IPC: G06K9/00
Abstract: 本发明公开了一种由粗到精的新生儿面部检测方法与系统。该方法包括以下步骤：建立新生儿面部图像样本集；构建一种包括特征提取、面部边框粗定位和面部边框精定位模块的适用于新生儿面部检测的深度卷积神经网络；用样本集里的样本训练所构建的深度卷积神经网络，得到新生儿面部检测模型；利用新生儿面部检测模型对新输入的测试图像进行新生儿面部检测。本发明针对新生儿面部特点，构建并训练一个深度卷积神经网络模型，提取新生儿面部不同尺度的特征图，并通过两次分类任务及级联的两次回归任务实现由粗定位到精定位的面部检测，可以有效提高新生儿面部检测精度，减少误检、漏检的概率。
-
Patent Agency Ranking
公开(公告)号：CN106570474B
公开(公告)日：2019-06-28
申请号：CN201610954555.9
申请日：2016-10-27
Applicant: 南京邮电大学
Abstract: 本发明涉及一种基于3D卷积神经网络的微表情识别方法，基于所构造出的3D卷积神经网络(3D‑CNN)模型，能够有效识别出高兴、厌恶、压抑、惊讶以及其他5类微表情，并且所设计微表情识别方法简单、高效，不需要对样本数据进行特征提取、特征降维、分类等一系列过程，大大减少了预处理的难度，而且通过感受野和权值共享，减少了神经网络需要训练的参数的个数，大大降低了算法的复杂度，不仅如此，所设计微表情识别方法中，通过下采样层的下采样操作，增强了网络的鲁棒性，能容忍图像一定程度的畸变。
-
公开(公告)号：CN106096641B
公开(公告)日：2019-03-01
申请号：CN201610397707.X
申请日：2016-06-07
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于遗传算法的多模态情感特征融合方法，属于信号处理与模式识别领域。包括以下内容：建立一个多模态情感数据库，然后对于所述数据库中的每个样本，提取多模态情感数据库样本的各模态情感特征，例如：面部表情特征、语音情感特征以及身体姿态特征等，构造多模态情感特征矩阵，将遗传算法用于多个模态的特征融合，包括基于遗传算法的特征选择、交叉以及重组，最后采用遗传算法对多模态情感特征进行F次迭代的特征选择和融合。本发明针对多模态情感分类识别，提出将遗传算法用于特征层融合，为基于特征层融合的多模态情感分类识别提供了一种新的有效途径。
-
公开(公告)号：CN108388890A
公开(公告)日：2018-08-10
申请号：CN201810249529.5
申请日：2018-03-26
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于面部表情识别的新生儿疼痛程度评估方法及系统，该方法包括：建立新生儿疼痛面部表情图像数据集，包括经过预处理的新生儿面部图像及其对应的表情类别标签；构建用于新生儿疼痛程度评估的深度卷积神经网络(DCCN)，采用公开的大规模有标签数据集对网络进行预训练，得到初始权重参数值，再利用表情图像数据集对网络进行微调，获得训练好的网络模型；将待测试新生儿面部图像输入已训练好的网络进行表情分类识别，进而获得疼痛程度评估结果。本发明能够充分利用DCNN提取的特征，在小规模的新生儿疼痛面部表情图像数据集上能够取得较好疼痛程度评估结果，为开发一种基于面部表情识别的新生儿疼痛程度自动评估系统提供了新方法。
-
公开(公告)号：CN108363979A
公开(公告)日：2018-08-03
申请号：CN201810145292.6
申请日：2018-02-12
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，该方法包括以下步骤：(1)采集新生儿不同状态下的视频片段，按疼痛程度将视频分为n类表情，建立新生儿面部表情视频库；(2)将所述面部表情视频库中的每一个视频片段剪辑成l帧长的帧序列，对每一帧图像进行灰度化，并提取LBP特征图；(3)构造一种双通道三维卷积神经网络；(4)将所述灰度图序列及LBP特征图序列输入所述双通道三维卷积神经网络，对网络进行训练、调优，保存已训练的网络模型。该方法将深度卷积神经网络拓展应用到新生儿疼痛表情识别领域，以提高新生儿疼痛评估的准确性，为开发一种新生儿疼痛评估辅助系统提供技术支撑。
-
公开(公告)号：CN107330393A
公开(公告)日：2017-11-07
申请号：CN201710497579.0
申请日：2017-06-27
Applicant: 南京邮电大学
CPC classification number: G06K9/00315 , G06K9/00288 , G06K9/6256 , G06K9/6267 , G06N3/084
Abstract: 本发明涉及一种基于视频分析的新生儿疼痛表情识别方法，通过引入基于三维卷积神经网络的深度学习方法，将其运用于新生儿疼痛表情识别工作中，能够有效识别出新生儿处于安静、啼哭状态以及致痛性操作引起轻度疼痛、剧烈疼痛等表情，为开发新生儿疼痛自动评估系统提供一种新的途径，具体引入三维卷积神经网络，通过3D卷积核提取视频片段的时域和空域特征，避免人工提取特征的繁琐，且所提取特征更具优越性，并且在深度学习平台上自动学习并识别新生儿疼痛表情，与传统人工评估方式相比，更加客观，更加准确，并且节省了大量人力资源。
-
-
-
-
-
-
-
-
-
Search Results
112
records
(took 0.037 seconds)
