-
公开(公告)号：CN111401117B
公开(公告)日：2022-08-26
申请号：CN201910748936.5
申请日：2019-08-14
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于双流卷积神经网络的新生儿疼痛表情识别方法，该方法首先将视频进行分帧处理，接着在多个连续的帧之间添加光流位移场获得对应的光流信息以得到光流图。然后构造出一个共用Attention双流卷积神经网络，该网络是在双流卷积神经网络的基础上添加了共用Attention模块，该网络主要由两个预训练的VGG16网络和共用Attention模块组成。在该网络中，首先从各帧图像序列中选择表情变化最大的一帧作为其中一路VGG16网络的输入，我们将该路网络称为空间信息网络，然后将光流图作为另一路VGG16网络的输入，我们称该路网络为时间信息网络。最后将通过两路网络后的特征图进行级联并输入全连接层进行新生儿疼痛表情分类。
-
公开(公告)号：CN114937298A
公开(公告)日：2022-08-23
申请号：CN202210522618.9
申请日：2022-05-13
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/774 , G06N3/04
Abstract: 本发明公开了一种基于特征解耦的微表情识别方法，该方法包括以下步骤：构建并训练普通表情‑身份特征解耦网络，将训练好的普通表情‑身份特征解耦网络作为微表情‑身份特征解耦网络的初始模型，使用人脸微表情图像样本微调该模型，得到微表情‑身份特征解耦网络；构建包含普通表情‑身份特征解耦网络、微表情‑身份特征解耦网络的对抗网络模型，通过对抗学习方法，使用相同表情类别的人脸普通表情图像样本和人脸微表情图像样本训练对抗网络模型；将训练好的对抗网络模型中的微表情‑身份特征解耦网络作为最终的微表情识别模型。本发明可以使模型排除人脸身份特征干扰，更加关注微表情特征，从而提高微表情识别的准确率。
-
公开(公告)号：CN112926502B
公开(公告)日：2022-07-29
申请号：CN202110307024.1
申请日：2021-03-23
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/764
Abstract: 本发明公开了一种基于核化双群稀疏学习的微表情识别方法及系统，该方法主要包括：(1)从微表情数据集样本中分别提取两组不同类型的特征向量，构建相应的特征矩阵；(2)对每个特征向量赋予一个权重，构建核化双群稀疏学习模型，用于学习每个特征向量的权重；(3)求解核化双群稀疏学习模型，得到每个特征向量的权重；(4)对于输入的测试视频，提取两组不同类型的特征，并将权重高于阈值的特征向量拼接在一起作为微表情特征向量；(5)使用分类器对微表情特征向量进行分类，得到微表情类别。本发明利用微表情数据集中的训练样本学习每个特征向量的权重，从两组不同特征中自动筛选出最优特征向量用于微表情识别，能够有效提升识别准确率。
-
公开(公告)号：CN112800998B
公开(公告)日：2022-07-29
申请号：CN202110159085.8
申请日：2021-02-05
Applicant: 南京邮电大学
Abstract: 本发明公开了一种融合注意力机制和鉴别多重集典型相关分析(DMCCA)的多模态情感识别方法及系统。该方法包括：对经过预处理后的脑电信号、外周生理信号和面部表情视频分别提取脑电信号特征、外周生理信号特征和表情特征；使用注意力机制分别提取有鉴别力的脑电情感特征、外周生理情感特征、表情情感特征；对脑电情感特征、外周生理情感特征和表情情感特征使用DMCCA方法，得到脑电‑外周生理‑表情多模态情感特征；使用分类器对多模态情感特征进行分类识别。本发明采用注意力机制选择性地重点关注各模态中更具情感鉴别力的特征，并结合DMCCA充分利用不同模态情感特征之间的相关性和互补性，可以有效提高情感识别的准确率和鲁棒性。
-
公开(公告)号：CN112784764B
公开(公告)日：2022-07-12
申请号：CN202110107862.4
申请日：2021-01-27
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于局部与全局注意力机制的表情识别方法及系统。该方法首先构建基于局部与全局注意力机制的神经网络模型，该模型由浅层特征提取模块、空间域局部与全局注意力模块、残差网络模块、多尺度特征提取模块、通道域局部与全局注意力模块、全连接层和分类层构成；然后使用人脸表情图像库中的样本图像对神经网络模型进行训练；最后将待测试的人脸图像输入到训练好的神经网络模型进行表情识别。本发明使用多尺度特征提取模块来提取人脸图像中不同尺度的纹理特征，以免丢失有鉴别力的表情特征；使用空间域和通道域局部与全局注意力模块强化对表情识别起关键作用的更具鉴别力的特征，可以有效提高表情识别的准确率和鲁棒性。
-
Patent Agency Ranking
公开(公告)号：CN114639139A
公开(公告)日：2022-06-17
申请号：CN202210151256.7
申请日：2022-02-16
Applicant: 南京邮电大学
IPC: G06V40/16 , G06N3/04 , G06K9/62 , G06F40/30 , G06F40/289 , G06V10/80 , G06V10/774 , G06V10/82 , G06V10/56
Abstract: 本发明公开了一种基于强化学习的情绪化图像描述方法，涉及图像处理与模式识别技术领域，在大规模语料库基础上构建情绪词嵌入库；构建图像情绪识别模型；使用图像情绪分析数据集训练图像情绪识别模型；构建图像事实性描述模型；使用图像描述数据集训练图像事实性描述模型；构建情绪化图像描述初始化模块，利用情绪词嵌入库、图像情绪识别模型输出的图像情绪类别以及图像事实性描述模型输出的图像事实性描述，生成初始的情绪化图像描述；构建基于强化学习的微调模块，对初始的情绪化图像描述进行微调，生成最终的情绪化图像描述。本发明还公开了一种基于强化学习的情绪化图像描述系统，本发明可使得各类复杂场景的图像描述更加生动，富有情感。
-
公开(公告)号：CN106250855B
公开(公告)日：2022-01-28
申请号：CN201610627333.6
申请日：2016-08-02
Applicant: 南京邮电大学
IPC: G06K9/62 , G06V40/16 , G06V10/764 , G06V10/80
Abstract: 本发明公开了一种基于多核学习的多模态情感识别方法，该方法首先对多模态情感数据库中每种模态的样本数据提取情感特征，如表情特征、语音特征和生理特征等，然后对每种模态分别构建多个不同的核矩阵，将不同模态对应的核矩阵组进行融合，得到融合的多模态情感特征，最后使用多核支持向量机作为分类器进行训练和识别，能够有效地识别出生气、恶心、害怕、高兴、悲伤和惊讶等基本情感。
-
公开(公告)号：CN106803069B
公开(公告)日：2021-02-09
申请号：CN201611242470.4
申请日：2016-12-29
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于深度学习的人群高兴程度识别方法，首先将人工标注的单个人脸图像做分类和图像尺寸归一化处理，得到人脸高兴程度数据库和人脸遮挡程度数据库，再分别将它们分为训练集和验证集，用于训练卷积神经网络，然后利用训练好的网络模型对输入的一幅合影图像中的人脸进行高兴程度和遮挡程度的识别，最后采用人脸高兴程度加权的方式计算出图像中的人群高兴程度。采用深度学习对图像中的群体表情进行分析，相比于传统提取PHOG、Gabor特征的方法要更准确，为解决图像中的人群情感识别问题提拱了新的思路和途径。
-
公开(公告)号：CN109903236B
公开(公告)日：2020-12-18
申请号：CN201910055717.9
申请日：2019-01-21
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于VAE‑GAN与相似块搜索的人脸图像修复方法及装置，该方法主要包括：(1)利用人脸图像库样本训练构建的VAE‑GAN网络模型，优化模型中生成器G和鉴别器D的参数；(2)把待修复图像输入到训练好的生成器G中，生成一个待修复区域存在语义信息但模糊的图像M；(3)根据图像M中待修复区域及周围区域的图像块从人脸图像库的图像中搜索相似块Z；(4)用相似块Z中对应于待修复区域的图像块替换M中的待修复区域Ω的图像块，并对修复边界进行融合。本发明方法结合了深度学习方法和传统的相似块搜索方法，同时解决深度学习方法修复结果模糊的问题和传统方法无法修复语义信息的问题。
-
公开(公告)号：CN111401117A
公开(公告)日：2020-07-10
申请号：CN201910748936.5
申请日：2019-08-14
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于双流卷积神经网络的新生儿疼痛表情识别方法，该方法首先将视频进行分帧处理，接着在多个连续的帧之间添加光流位移场获得对应的光流信息以得到光流图。然后构造出一个共用Attention双流卷积神经网络，该网络是在双流卷积神经网络的基础上添加了共用Attention模块，该网络主要由两个预训练的VGG16网络和共用Attention模块组成。在该网络中，首先从各帧图像序列中选择表情变化最大的一帧作为其中一路VGG16网络的输入，我们将该路网络称为空间信息网络，然后将光流图作为另一路VGG16网络的输入，我们称该路网络为时间信息网络。最后将通过两路网络后的特征图进行级联并输入全连接层进行新生儿疼痛表情分类。
-
-
-
-
-
-
-
-
-
Search Results
112
records
(took 0.029 seconds)
