-
公开(公告)号：CN109872728A
公开(公告)日：2019-06-11
申请号：CN201910145086.X
申请日：2019-02-27
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于核典型相关分析的语音和姿态双模态情感识别方法，该方法首先提取姿态的空时特征，并提取出视频中的音频文件，再对所提取的音频进行语音情感特征提取，然后对语音和姿态的情感特征分别进行归一化并降维，再进行基于核典型相关分析的情感特征融合，最后用支持向量机进行情感分类。本方法能够综合利用了语音和姿态之间的相关信息，采用特征融合等手段增强了单模态特征数据间的相关性，去除了其中的冗余信息，使计算机的情感识别能力得到提升，比单模态的情感识别有更高的识别率，并使用了情感特征归一化和特征降维方法，降低了特征的维度与特征识别过程中的计算复杂度，进一步提高了情感识别的识别率。
-
公开(公告)号：CN109815938A
公开(公告)日：2019-05-28
申请号：CN201910144997.0
申请日：2019-02-27
Applicant: 南京邮电大学
IPC: G06K9/00
Abstract: 本发明公开了一种基于多类核典型相关分析的多模态情感特征识别方法，包括以下步骤：1)在包含多种模态数据的情感数据库中选取一定数量的样本；2)从上述样本数据中提取表情特征、语音特征和姿态特征，形成表情特征数据矩阵、语音特征数据矩阵和姿态特征数据矩阵；3)将上述3个矩阵进行归一化和标准化处理；4)使用多类核典型相关分析方法将多个模态的特征进行融合，得到融合后的特征；5)将融合后的特征放入支持向量机中进行情感识别。本方法通过将多类核典型相关分析方法的应用，寻找各模态特征之间强相关性，充分使用人类各种情绪情况下的各个模态的特征，在情感识别中使计算机能够更加精确的识别人类的情绪。
-
公开(公告)号：CN108596069A
公开(公告)日：2018-09-28
申请号：CN201810346075.3
申请日：2018-04-18
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于深度3D残差网络的新生儿疼痛表情识别方法及系统。该方法包括：建立包含疼痛表情类别标签的新生儿表情视频库，并将新生儿表情视频库中的样本划分为训练集和验证集；构建一种用于新生儿疼痛表情识别的深度3D残差网络，利用公开的有类别标签的大规模视频数据库对网络进行预训练，得到初始权重参数值，再利用新生儿表情视频库中的训练集和验证集样本对网络进行微调，获得训练好的网络模型；将待测试新生儿表情视频片段输入到训练好的网络模型，进行表情分类识别，得到疼痛表情识别结果。本发明采用深度3D残差网络从视频中提取能够反映时间信息的时空动态特征，可以更好地表征面部表情的变化，从而提升分类识别的准确性。
-
公开(公告)号：CN107945118A
公开(公告)日：2018-04-20
申请号：CN201711034936.6
申请日：2017-10-30
Applicant: 南京邮电大学
CPC classification number: G06T5/005 , G06T3/40 , G06T2207/20081 , G06T2207/30201
Abstract: 本发明公开了一种基于生成式对抗网络的人脸图像修复方法，该方法包括以下步骤：(1)搜集大量含有完整清晰人脸的图像，建立一个人脸图像数据库；(2)构建一种生成式对抗网络；(3)对生成式对抗网络进行训练，优化生成式对抗网络中生成器和鉴别器的参数；(4)将服从正态分布的随机向量输入到已训练好的生成器，生成人脸图像，将待修复人脸图像的完好无损区域与生成图像的相应区域进行对比，不断调整输入向量，直至两者相似，最终将待修复的人脸图像中被遮挡或损坏区域的像素值用生成人脸图像的对应区域的像素值来替换。本发明针对有遮挡或损坏的人脸图像的修复问题，采用具有深度学习结构的生成式对抗网络，有效地解决了图像处理中的图像修复问题。
-
公开(公告)号：CN102663450A
公开(公告)日：2012-09-12
申请号：CN201210077351.3
申请日：2012-03-21
Applicant: 南京邮电大学
IPC: G06K9/66
Abstract: 本发明公开了一种基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法，该方法使用训练样本构建冗余字典,将测试样本看成冗余字典中训练样本的线性组合，利用其特有的稀疏性进行疼痛与非疼痛表情分类识别，能有效地识别出微笑、安静、非疼痛时的哭、轻度疼痛、剧烈疼痛状态下的表情，并对新生儿面部图像的噪声与遮挡问题具有很好的鲁棒性，为开发新生儿疼痛自动评估系统提供了一种新的方法和途径。
-
Patent Agency Ranking
公开(公告)号：CN118245860B
公开(公告)日：2025-03-14
申请号：CN202410172812.8
申请日：2024-02-07
Applicant: 南京邮电大学
IPC: G06F18/241 , G06F18/2131 , G06F18/2415 , G06N3/047 , G06N3/0442 , G06N3/045 , A61B7/04
Abstract: 本发明公开了一种基于同步挤压短时傅里叶变换和BiGRU的心音分段方法及系统，该方法包括：构建一个基于同步挤压短时傅里叶变换(SSTFT)和BiGRU的心音分段模型，该模型由SSTFT单元、BiGRU网络、Softmax分类器构成；使用心音数据集的样本对心音分段模型进行训练；将待分段的心音信号输入到训练好的心音分段模型进行状态分类，分成第一心音(S1)、第二心音(S2)、S1‑S2间期、S2‑S1间期4种状态类别；修正心音分段模型预测的错误状态类别；该系统包括：模型构建模块、模型训练模块、心音状态分类模块和状态修正模块。本发明能够地有效提升心音分段的定位精度和准确率。
-
公开(公告)号：CN117994830B
公开(公告)日：2025-01-17
申请号：CN202311843748.3
申请日：2023-12-28
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/774 , G06V10/46
Abstract: 本发明公开了一种基于图像块位置感知Transformer的表情识别方法及系统，该方法包括以下步骤：构建一个基于图像块位置感知Transformer的表情识别模型，该模型由图像预处理单元、初始特征提取单元、特征块位置选定单元、视觉Transformer单元和分类器构成；使用人脸表情图像库中的样本对表情识别模型进行训练；将待测试的人脸图像输入到训练好的表情识别模型进行表情识别。本发明以迭代渐进的不固定间隔来选定特征块的位置，排除对表情识别有干扰的特征块，强化对表情识别起关键作用的特征块，从而使得表情识别模型能够提取更具鉴别力的表情特征，增强模型对面部被遮挡、头部姿态变化、光照不均匀的鲁棒性，有效提升表情识别的准确率和泛化性能。
-
公开(公告)号：CN115331284A
公开(公告)日：2022-11-11
申请号：CN202210897253.8
申请日：2022-07-28
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于自愈机制的真实场景下的人脸表情识别方法及系统。该方法包括以下步骤：建立含有不确定表情类别标签的人脸样本集；构建一个包含特征提取模块、全连接层和分类层的人脸表情识别模型；在对人脸表情识别模型进行训练的过程中，通过引入对具有不确定类别标签的样本进行重新标注的自愈机制，实现对不确定类别标签的自我修正；将待测的人脸图像输入到训练好的人脸表情识别模型进行表情识别。该方法可以有效消除具有错误标签的训练样本导致模型过拟合的不利影响，可以在掺杂不准确或错误类别标签的人脸表情数据集中学习到鲁棒的表情特征，从而提升真实场景下人脸表情识别的准确率和鲁棒性。
-
公开(公告)号：CN111950592B
公开(公告)日：2022-09-23
申请号：CN202010660340.2
申请日：2020-07-10
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/80 , G06V10/774
Abstract: 本发明公开了一种基于监督最小二乘多类核典型相关分析的多模态情感特征融合方法。其步骤：提取各模态特征所需要的样本；提取表情模态、语音模态及姿态模态的特征，构成特征矩阵；对提取的各模态特征进行去均值、归一化处理；使用监督最小二乘多类核典型相关分析方法进行多模态特征的融合；进行模型训练得到预测评估结果。本发明针对多类别情感分析问题，将波兰多模态数据库中所有人的各类情感整理分成7类情绪，分别为恐惧、惊讶、愤怒、悲伤、高兴、厌恶及平静，提出基于监督最小二乘多类核典型相关分析的方法来融合多种模态的特征数据，使用此方法计算各模态特征之间的相关性，计算特征之间的关联，能够使计算机更准确的分别人类的各种情绪。
-
公开(公告)号：CN112800903B
公开(公告)日：2022-08-26
申请号：CN202110067161.2
申请日：2021-01-19
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于时空图卷积神经网络的动态表情识别方法及系统。该方法首先对动态表情序列中每帧图像进行人脸关键点检测，得到关键点的归一化坐标和编号；提取关键点的局部纹理特征向量，并与其归一化坐标进行拼接，组合成关键点的局部融合特征向量；然后连接同帧间的关键点形成空域边，连接相邻帧相同编号的关键点形成时域边，利用这些边和关键点构成一种时空拓扑图；接着，构建一种时空图卷积神经网络，用生成的时空拓扑图对其进行训练；最后将基于新的表情序列生成的时空拓扑图作为输入，利用训练好的网络模型进行表情识别。该方法利用了人脸关键点的位置信息，可以克服光照、肤色、姿态变化的影响，提升表情识别的准确率和鲁棒性。
-
-
-
-
-
-
-
-
-
Search Results
112
records
(took 0.022 seconds)
