-
公开(公告)号：CN112800998B
公开(公告)日：2022-07-29
申请号：CN202110159085.8
申请日：2021-02-05
Applicant: 南京邮电大学
Abstract: 本发明公开了一种融合注意力机制和鉴别多重集典型相关分析(DMCCA)的多模态情感识别方法及系统。该方法包括：对经过预处理后的脑电信号、外周生理信号和面部表情视频分别提取脑电信号特征、外周生理信号特征和表情特征；使用注意力机制分别提取有鉴别力的脑电情感特征、外周生理情感特征、表情情感特征；对脑电情感特征、外周生理情感特征和表情情感特征使用DMCCA方法，得到脑电‑外周生理‑表情多模态情感特征；使用分类器对多模态情感特征进行分类识别。本发明采用注意力机制选择性地重点关注各模态中更具情感鉴别力的特征，并结合DMCCA充分利用不同模态情感特征之间的相关性和互补性，可以有效提高情感识别的准确率和鲁棒性。
-
公开(公告)号：CN112784764B
公开(公告)日：2022-07-12
申请号：CN202110107862.4
申请日：2021-01-27
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于局部与全局注意力机制的表情识别方法及系统。该方法首先构建基于局部与全局注意力机制的神经网络模型，该模型由浅层特征提取模块、空间域局部与全局注意力模块、残差网络模块、多尺度特征提取模块、通道域局部与全局注意力模块、全连接层和分类层构成；然后使用人脸表情图像库中的样本图像对神经网络模型进行训练；最后将待测试的人脸图像输入到训练好的神经网络模型进行表情识别。本发明使用多尺度特征提取模块来提取人脸图像中不同尺度的纹理特征，以免丢失有鉴别力的表情特征；使用空间域和通道域局部与全局注意力模块强化对表情识别起关键作用的更具鉴别力的特征，可以有效提高表情识别的准确率和鲁棒性。
-
公开(公告)号：CN114639139A
公开(公告)日：2022-06-17
申请号：CN202210151256.7
申请日：2022-02-16
Applicant: 南京邮电大学
IPC: G06V40/16 , G06N3/04 , G06K9/62 , G06F40/30 , G06F40/289 , G06V10/80 , G06V10/774 , G06V10/82 , G06V10/56
Abstract: 本发明公开了一种基于强化学习的情绪化图像描述方法，涉及图像处理与模式识别技术领域，在大规模语料库基础上构建情绪词嵌入库；构建图像情绪识别模型；使用图像情绪分析数据集训练图像情绪识别模型；构建图像事实性描述模型；使用图像描述数据集训练图像事实性描述模型；构建情绪化图像描述初始化模块，利用情绪词嵌入库、图像情绪识别模型输出的图像情绪类别以及图像事实性描述模型输出的图像事实性描述，生成初始的情绪化图像描述；构建基于强化学习的微调模块，对初始的情绪化图像描述进行微调，生成最终的情绪化图像描述。本发明还公开了一种基于强化学习的情绪化图像描述系统，本发明可使得各类复杂场景的图像描述更加生动，富有情感。
-
公开(公告)号：CN111242180A
公开(公告)日：2020-06-05
申请号：CN202010004433.X
申请日：2020-01-03
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于轻量化卷积神经网络的图像识别方法及系统，包括：加载预训练好的用于图像识别的深度卷积神经网络模型；采用基于核的稀疏化方法，计算出模型中卷积层的裁剪因子，对卷积层进行裁剪，进而计算出未被裁剪的卷积层中各卷积核的裁剪因子，对卷积核进行裁剪；针对裁剪完成后的卷积神经网络模型，以卷积可分离的分组卷积方式代替标准的卷积方式并对卷积核的权重系数矩阵进行量化编码，得到轻量化的卷积神经网络模型；使用图像数据集对轻量化的模型进行训练，将待识别的图像输入训练好的轻量化卷积神经网络模型进行图像识别。本发明公开的轻量化图像识别模型可以加载到计算能力和存储资源有限的终端上，具有较为广阔的应用前景。
-
公开(公告)号：CN110309888A
公开(公告)日：2019-10-08
申请号：CN201910622927.1
申请日：2019-07-11
Applicant: 南京邮电大学
IPC: G06K9/62
Abstract: 本发明公开了一种基于分层多任务学习的图像分类方法与系统。该方法首先通过一些专业领域专家的经验知识，利用图像类别间的关系，对训练样本集之中的图像进行由粗到细的层次化的类别标注；其次，构建一种包括特征提取模块、粗分类层及细分类层的分层深度卷积神经网络；然后，采用多任务学习算法对粗分类层及细分类层进行训练；最后，利用训练好的分层深度卷积神经网络对输入的测试图像进行分类。本发明通过将图像类别之间的层次结构信息与卷积神经网络相结合，设计了一个分层深度卷积神经网络，并利用多任务学习算法，实现了对图像进行由粗到细的分类。
-
Patent Agency Ranking
公开(公告)号：CN114937298B
公开(公告)日：2024-11-08
申请号：CN202210522618.9
申请日：2022-05-13
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/774 , G06N3/0464
Abstract: 本发明公开了一种基于特征解耦的微表情识别方法，该方法包括以下步骤：构建并训练普通表情‑身份特征解耦网络，将训练好的普通表情‑身份特征解耦网络作为微表情‑身份特征解耦网络的初始模型，使用人脸微表情图像样本微调该模型，得到微表情‑身份特征解耦网络；构建包含普通表情‑身份特征解耦网络、微表情‑身份特征解耦网络的对抗网络模型，通过对抗学习方法，使用相同表情类别的人脸普通表情图像样本和人脸微表情图像样本训练对抗网络模型；将训练好的对抗网络模型中的微表情‑身份特征解耦网络作为最终的微表情识别模型。本发明可以使模型排除人脸身份特征干扰，更加关注微表情特征，从而提高微表情识别的准确率。
-
公开(公告)号：CN114639139B
公开(公告)日：2024-11-08
申请号：CN202210151256.7
申请日：2022-02-16
Applicant: 南京邮电大学
IPC: G06V40/16 , G06N3/0464 , G06F40/30 , G06F40/289 , G06V10/80 , G06V10/774 , G06V10/82 , G06V10/56
Abstract: 本发明公开了一种基于强化学习的情绪化图像描述方法，涉及图像处理与模式识别技术领域，在大规模语料库基础上构建情绪词嵌入库；构建图像情绪识别模型；使用图像情绪分析数据集训练图像情绪识别模型；构建图像事实性描述模型；使用图像描述数据集训练图像事实性描述模型；构建情绪化图像描述初始化模块，利用情绪词嵌入库、图像情绪识别模型输出的图像情绪类别以及图像事实性描述模型输出的图像事实性描述，生成初始的情绪化图像描述；构建基于强化学习的微调模块，对初始的情绪化图像描述进行微调，生成最终的情绪化图像描述。本发明还公开了一种基于强化学习的情绪化图像描述系统，本发明可使得各类复杂场景的图像描述更加生动，富有情感。
-
公开(公告)号：CN115063866B
公开(公告)日：2024-11-05
申请号：CN202210767298.3
申请日：2022-06-30
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/08 , G06N3/092
Abstract: 本发明公开了一种融合强化学习与递进学习的表情识别方法，该方法包含：构建包含样本筛选模块与表情分类模块的强化学习模型；将训练集样本划分为I组，使用一组样本对强化学习模型的每一轮训练中，表情分类模块输出预测类别概率，样本筛选模块将样本分为容易、较易、不易分类样本，按照递进学习思想使用容易、较易和不易分类样本对表情分类模块重新训练，根据重新训练前后表情分类模块输出的预测类别概率之差，基于强化学习方法调整样本筛选模块，进入下一轮的模型训练，经过I轮迭代训练得到训练好的表情分类模块；用训练好的表情分类模块对人脸图像进行表情识别。该方法能消除含噪声标签样本对模型训练的不利影响,提升表情识别准确性和鲁棒性。
-
公开(公告)号：CN115331285A
公开(公告)日：2022-11-11
申请号：CN202210905104.1
申请日：2022-07-29
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于多尺度特征知识蒸馏的动态表情识别方法，该方法包括：对人脸表情视频库中的每个视频进行预处理，生成人脸图像序列样本和光流图像序列样本；构建知识蒸馏框架中的教师‑学生模型；用光流图像序列样本对教师模型进行预训练；构建教师‑学生模型的损失函数，利用预训练后的教师模型对学生模型进行多尺度特征知识蒸馏的训练；用训练好的学生模型作为最终的表情识别模型，对输入视频中人脸进行表情识别。该方法通过引入多层次知识蒸馏，将预训练后的教师模型从光流图像序列中学习到的动态表情特征迁移到学生模型，提升学生模型特征提取能力，增强模型的泛化能力以及对动态表情的鉴别能力，提升动态表情识别的准确率和鲁棒性。
-
公开(公告)号：CN112800894B
公开(公告)日：2022-08-26
申请号：CN202110061153.7
申请日：2021-01-18
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于时空流间注意力机制的动态表情识别方法及系统。该方法首先采集面部表情视频片段，建立包含表情类别标签的人脸表情视频库；然后构建一种嵌入时空流间注意力机制模块的双流卷积神经网络模型，该模型包括数据处理层、空间流支路、时间流支路、时空流间注意力机制模块、特征融合层、全连接层以及分类层；接着使用人脸表情视频库中的视频样本训练该模型；最后利用训练好的模型，对新输入的视频进行人脸表情识别。该方法通过在双流卷积神经网络中嵌入时空流间注意力机制模块，能够实现空域特征和时域特征的信息交互，从而捕捉空域特征和时域特征之间的动态关联信息，获得鉴别能力强的特征，提升人脸表情识别的准确性和鲁棒性。
-
-
-
-
-
-
-
-
-
Search Results
53
records
(took 0.022 seconds)
