-
公开(公告)号：CN112101401B
公开(公告)日：2022-08-26
申请号：CN202010660341.7
申请日：2020-07-10
Applicant: 南京邮电大学
IPC: G06V10/80 , G06V10/774 , G06K9/62
Abstract: 本发明公开了一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法。具体步骤：处理原始数据中的多个模态的数据，提取特征；对收集到的各模态的数据做预处理；使用稀疏监督最小二乘多类核典型相关分析方法进行多模态特征融合，调试模型的参数。本发明针对多类情感分类问题，将数据库中各种维度的情感从不高兴到高兴整理成7类，提出一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法，是情感计算领域中基于特征层融合情感分类的一种新方法，由此方法计算各模态特征间的强相关性，能使计算机更好的分辨人类的情绪变换。
-
公开(公告)号：CN111401117B
公开(公告)日：2022-08-26
申请号：CN201910748936.5
申请日：2019-08-14
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于双流卷积神经网络的新生儿疼痛表情识别方法，该方法首先将视频进行分帧处理，接着在多个连续的帧之间添加光流位移场获得对应的光流信息以得到光流图。然后构造出一个共用Attention双流卷积神经网络，该网络是在双流卷积神经网络的基础上添加了共用Attention模块，该网络主要由两个预训练的VGG16网络和共用Attention模块组成。在该网络中，首先从各帧图像序列中选择表情变化最大的一帧作为其中一路VGG16网络的输入，我们将该路网络称为空间信息网络，然后将光流图作为另一路VGG16网络的输入，我们称该路网络为时间信息网络。最后将通过两路网络后的特征图进行级联并输入全连接层进行新生儿疼痛表情分类。
-
公开(公告)号：CN111401117A
公开(公告)日：2020-07-10
申请号：CN201910748936.5
申请日：2019-08-14
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于双流卷积神经网络的新生儿疼痛表情识别方法，该方法首先将视频进行分帧处理，接着在多个连续的帧之间添加光流位移场获得对应的光流信息以得到光流图。然后构造出一个共用Attention双流卷积神经网络，该网络是在双流卷积神经网络的基础上添加了共用Attention模块，该网络主要由两个预训练的VGG16网络和共用Attention模块组成。在该网络中，首先从各帧图像序列中选择表情变化最大的一帧作为其中一路VGG16网络的输入，我们将该路网络称为空间信息网络，然后将光流图作为另一路VGG16网络的输入，我们称该路网络为时间信息网络。最后将通过两路网络后的特征图进行级联并输入全连接层进行新生儿疼痛表情分类。
-
公开(公告)号：CN111950592B
公开(公告)日：2022-09-23
申请号：CN202010660340.2
申请日：2020-07-10
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/80 , G06V10/774
Abstract: 本发明公开了一种基于监督最小二乘多类核典型相关分析的多模态情感特征融合方法。其步骤：提取各模态特征所需要的样本；提取表情模态、语音模态及姿态模态的特征，构成特征矩阵；对提取的各模态特征进行去均值、归一化处理；使用监督最小二乘多类核典型相关分析方法进行多模态特征的融合；进行模型训练得到预测评估结果。本发明针对多类别情感分析问题，将波兰多模态数据库中所有人的各类情感整理分成7类情绪，分别为恐惧、惊讶、愤怒、悲伤、高兴、厌恶及平静，提出基于监督最小二乘多类核典型相关分析的方法来融合多种模态的特征数据，使用此方法计算各模态特征之间的相关性，计算特征之间的关联，能够使计算机更准确的分别人类的各种情绪。
-
公开(公告)号：CN109919061A
公开(公告)日：2019-06-21
申请号：CN201910145001.8
申请日：2019-02-27
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于稀疏典型相关分析的姿态和语音双模态情感识别方法，所述方法包括：1)在情感数据库中选取一定数量的样本；2)提取样本数据中的姿态特征和语音特征；3)对特征矩阵进行归一化处理；4)使用稀疏典型相关分析法，将特征矩阵进行融合，计算融合后的特征矩阵；5)将融合后的特征矩阵f放入支持向量机中进行情感识别。本发明加入稀疏典型处理后，不仅解决了双模态融合难的问题，还起到了特征降维的目的，解决了现有双模态特征层融合情感识别不佳的问题，提高了识别率。
-
Patent Agency Ranking
公开(公告)号：CN111402927A
公开(公告)日：2020-07-10
申请号：CN201910784181.4
申请日：2019-08-23
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于分段语谱图和双重Attention的语音情感识别方法，所述方法包括：1)将数据库中的语音音频信号进行分段并把每段音频转换成带有语音情感信息的语谱图；2)采用预训练的VGG16网络提取语谱图中深度语音情感特征；3)对深度语音情感特征进行空间和通道两个方向的权重学习，获得加权后的深度语音情感特征；4)把FC2输出的深度语音情感特征输入到全连接层FC3进行情感分类,FC3输出识别好的语音情感类别。通过本发明能够自主的学习到语谱图中各个区域以及特征图的各个通道对语音情感识别的重要性，提高后续的语音情感识别率；推动基于语音的智能人机交互应用。
-
公开(公告)号：CN112101401A
公开(公告)日：2020-12-18
申请号：CN202010660341.7
申请日：2020-07-10
Applicant: 南京邮电大学
IPC: G06K9/62
Abstract: 本发明公开了一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法。具体步骤：处理原始数据中的多个模态的数据，提取特征；对收集到的各模态的数据做预处理；使用稀疏监督最小二乘多类核典型相关分析方法进行多模态特征融合，调试模型的参数。本发明针对多类情感分类问题，将数据库中各种维度的情感从不高兴到高兴整理成7类，提出一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法，是情感计算领域中基于特征层融合情感分类的一种新方法，由此方法计算各模态特征间的强相关性，能使计算机更好的分辨人类的情绪变换。
-
公开(公告)号：CN111950592A
公开(公告)日：2020-11-17
申请号：CN202010660340.2
申请日：2020-07-10
Applicant: 南京邮电大学
IPC: G06K9/62
Abstract: 本发明公开了一种基于监督最小二乘多类核典型相关分析的多模态情感特征融合方法。其步骤：提取各模态特征所需要的样本；提取表情模态、语音模态及姿态模态的特征，构成特征矩阵；对提取的各模态特征进行去均值、归一化处理；使用监督最小二乘多类核典型相关分析方法进行多模态特征的融合；进行模型训练得到预测评估结果。本发明针对多类别情感分析问题，将波兰多模态数据库中所有人的各类情感整理分成7类情绪，分别为恐惧、惊讶、愤怒、悲伤、高兴、厌恶及平静，提出基于监督最小二乘多类核典型相关分析的方法来融合多种模态的特征数据，使用此方法计算各模态特征之间的相关性，计算特征之间的关联，能够使计算机更准确的分别人类的各种情绪。
-
公开(公告)号：CN109872728A
公开(公告)日：2019-06-11
申请号：CN201910145086.X
申请日：2019-02-27
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于核典型相关分析的语音和姿态双模态情感识别方法，该方法首先提取姿态的空时特征，并提取出视频中的音频文件，再对所提取的音频进行语音情感特征提取，然后对语音和姿态的情感特征分别进行归一化并降维，再进行基于核典型相关分析的情感特征融合，最后用支持向量机进行情感分类。本方法能够综合利用了语音和姿态之间的相关信息，采用特征融合等手段增强了单模态特征数据间的相关性，去除了其中的冗余信息，使计算机的情感识别能力得到提升，比单模态的情感识别有更高的识别率，并使用了情感特征归一化和特征降维方法，降低了特征的维度与特征识别过程中的计算复杂度，进一步提高了情感识别的识别率。
-
公开(公告)号：CN109815938A
公开(公告)日：2019-05-28
申请号：CN201910144997.0
申请日：2019-02-27
Applicant: 南京邮电大学
IPC: G06K9/00
Abstract: 本发明公开了一种基于多类核典型相关分析的多模态情感特征识别方法，包括以下步骤：1)在包含多种模态数据的情感数据库中选取一定数量的样本；2)从上述样本数据中提取表情特征、语音特征和姿态特征，形成表情特征数据矩阵、语音特征数据矩阵和姿态特征数据矩阵；3)将上述3个矩阵进行归一化和标准化处理；4)使用多类核典型相关分析方法将多个模态的特征进行融合，得到融合后的特征；5)将融合后的特征放入支持向量机中进行情感识别。本方法通过将多类核典型相关分析方法的应用，寻找各模态特征之间强相关性，充分使用人类各种情绪情况下的各个模态的特征，在情感识别中使计算机能够更加精确的识别人类的情绪。
-
-
-
-
-
-
-
-
-
Search Results
10
records
(took 0.018 seconds)
