-
公开(公告)号：CN120014349A
公开(公告)日：2025-05-16
申请号：CN202510098748.8
申请日：2025-01-21
Applicant: 南京邮电大学
Abstract: 本发明提供一种基于表情和姿态特征融合的新生儿疼痛分类识别方法及系统，该方法通过获取新生儿疼痛数据集，新生儿疼痛数据集包括新生儿视频与对应的疼痛标签；构建基于表情和姿态特征融合的新生儿疼痛分类模型，基于表情和姿态特征融合的新生儿疼痛分类模型包括数据处理模块、多模态特征提取模块、自注意力机制模块、特征融合模块和分类层，数据处理模块对输入的新生儿视频进行表情数据处理和姿态数据处理分别得到新生儿表情图像序列和新生儿姿态图像序列；得到训练后的新生儿疼痛分类模型；进行疼痛分类识别；本发明能够给模型提供更丰富的信息，能够增强不同模态特征之间的相关性和互补性，能够有效提升新生儿疼痛分类的准确率和鲁棒性。
-
公开(公告)号：CN114937298B
公开(公告)日：2024-11-08
申请号：CN202210522618.9
申请日：2022-05-13
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/774 , G06N3/0464
Abstract: 本发明公开了一种基于特征解耦的微表情识别方法，该方法包括以下步骤：构建并训练普通表情‑身份特征解耦网络，将训练好的普通表情‑身份特征解耦网络作为微表情‑身份特征解耦网络的初始模型，使用人脸微表情图像样本微调该模型，得到微表情‑身份特征解耦网络；构建包含普通表情‑身份特征解耦网络、微表情‑身份特征解耦网络的对抗网络模型，通过对抗学习方法，使用相同表情类别的人脸普通表情图像样本和人脸微表情图像样本训练对抗网络模型；将训练好的对抗网络模型中的微表情‑身份特征解耦网络作为最终的微表情识别模型。本发明可以使模型排除人脸身份特征干扰，更加关注微表情特征，从而提高微表情识别的准确率。
-
公开(公告)号：CN114639139B
公开(公告)日：2024-11-08
申请号：CN202210151256.7
申请日：2022-02-16
Applicant: 南京邮电大学
IPC: G06V40/16 , G06N3/0464 , G06F40/30 , G06F40/289 , G06V10/80 , G06V10/774 , G06V10/82 , G06V10/56
Abstract: 本发明公开了一种基于强化学习的情绪化图像描述方法，涉及图像处理与模式识别技术领域，在大规模语料库基础上构建情绪词嵌入库；构建图像情绪识别模型；使用图像情绪分析数据集训练图像情绪识别模型；构建图像事实性描述模型；使用图像描述数据集训练图像事实性描述模型；构建情绪化图像描述初始化模块，利用情绪词嵌入库、图像情绪识别模型输出的图像情绪类别以及图像事实性描述模型输出的图像事实性描述，生成初始的情绪化图像描述；构建基于强化学习的微调模块，对初始的情绪化图像描述进行微调，生成最终的情绪化图像描述。本发明还公开了一种基于强化学习的情绪化图像描述系统，本发明可使得各类复杂场景的图像描述更加生动，富有情感。
-
公开(公告)号：CN115063866B
公开(公告)日：2024-11-05
申请号：CN202210767298.3
申请日：2022-06-30
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/08 , G06N3/092
Abstract: 本发明公开了一种融合强化学习与递进学习的表情识别方法，该方法包含：构建包含样本筛选模块与表情分类模块的强化学习模型；将训练集样本划分为I组，使用一组样本对强化学习模型的每一轮训练中，表情分类模块输出预测类别概率，样本筛选模块将样本分为容易、较易、不易分类样本，按照递进学习思想使用容易、较易和不易分类样本对表情分类模块重新训练，根据重新训练前后表情分类模块输出的预测类别概率之差，基于强化学习方法调整样本筛选模块，进入下一轮的模型训练，经过I轮迭代训练得到训练好的表情分类模块；用训练好的表情分类模块对人脸图像进行表情识别。该方法能消除含噪声标签样本对模型训练的不利影响,提升表情识别准确性和鲁棒性。
-
公开(公告)号：CN115331285A
公开(公告)日：2022-11-11
申请号：CN202210905104.1
申请日：2022-07-29
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于多尺度特征知识蒸馏的动态表情识别方法，该方法包括：对人脸表情视频库中的每个视频进行预处理，生成人脸图像序列样本和光流图像序列样本；构建知识蒸馏框架中的教师‑学生模型；用光流图像序列样本对教师模型进行预训练；构建教师‑学生模型的损失函数，利用预训练后的教师模型对学生模型进行多尺度特征知识蒸馏的训练；用训练好的学生模型作为最终的表情识别模型，对输入视频中人脸进行表情识别。该方法通过引入多层次知识蒸馏，将预训练后的教师模型从光流图像序列中学习到的动态表情特征迁移到学生模型，提升学生模型特征提取能力，增强模型的泛化能力以及对动态表情的鉴别能力，提升动态表情识别的准确率和鲁棒性。
-
Patent Agency Ranking
公开(公告)号：CN112800894B
公开(公告)日：2022-08-26
申请号：CN202110061153.7
申请日：2021-01-18
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于时空流间注意力机制的动态表情识别方法及系统。该方法首先采集面部表情视频片段，建立包含表情类别标签的人脸表情视频库；然后构建一种嵌入时空流间注意力机制模块的双流卷积神经网络模型，该模型包括数据处理层、空间流支路、时间流支路、时空流间注意力机制模块、特征融合层、全连接层以及分类层；接着使用人脸表情视频库中的视频样本训练该模型；最后利用训练好的模型，对新输入的视频进行人脸表情识别。该方法通过在双流卷积神经网络中嵌入时空流间注意力机制模块，能够实现空域特征和时域特征的信息交互，从而捕捉空域特征和时域特征之间的动态关联信息，获得鉴别能力强的特征，提升人脸表情识别的准确性和鲁棒性。
-
公开(公告)号：CN112101401B
公开(公告)日：2022-08-26
申请号：CN202010660341.7
申请日：2020-07-10
Applicant: 南京邮电大学
IPC: G06V10/80 , G06V10/774 , G06K9/62
Abstract: 本发明公开了一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法。具体步骤：处理原始数据中的多个模态的数据，提取特征；对收集到的各模态的数据做预处理；使用稀疏监督最小二乘多类核典型相关分析方法进行多模态特征融合，调试模型的参数。本发明针对多类情感分类问题，将数据库中各种维度的情感从不高兴到高兴整理成7类，提出一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法，是情感计算领域中基于特征层融合情感分类的一种新方法，由此方法计算各模态特征间的强相关性，能使计算机更好的分辨人类的情绪变换。
-
公开(公告)号：CN108363969B
公开(公告)日：2022-08-26
申请号：CN201810105264.1
申请日：2018-02-02
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于移动终端的新生儿疼痛评估方法，该方法包括：(1)采集新生儿疼痛表情图像，将所述表情图像分类，将所述表情图像裁剪成a×a像素的彩色图像；(2)构建一个包含1个数据层、19个卷积层、1个池化层、1个全连接层和1个分类层的卷积神经网络；(3)将数据库分为训练集和验证集，对卷积神经网络进行训练，得到优化后的网络模型；(4)将训练好的网络模型移植到移动终端，生成新生儿疼痛评估应用程序；(5)开启所述新生儿疼痛评估应用程序，并将识别结果显示在移动终端上。本发明针对智能手机等移动终端的处理能力，优化设计了深度卷积神经网络的结构，采用深度学习方法来提取新生儿疼痛表情特征，分类识别准确率高。
-
公开(公告)号：CN112784763B
公开(公告)日：2022-07-29
申请号：CN202110107709.1
申请日：2021-01-27
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/80 , G06V10/774 , G06V10/764 , G06K9/62 , G06V10/82 , G06N3/08
Abstract: 本发明公开了一种基于局部与整体特征自适应融合的表情识别方法及系统。该方法首先获取表情图像集，对表情图像集中的图像进行人脸检测、裁剪和对齐处理；然后构建一种表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层，其中，特征融合模块使用注意力机制学习人脸整体图像及其多个局部区域图像特征的注意力权重，并基于注意力权重自适应选择重要特征进行加权融合；再使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练；最后利用训练好的表情识别模型对新输入的测试图像进行表情分类识别。本发明可自适应地融合来自整个人脸及未被遮挡的重要区域的表情特征，有效解决遮挡和姿态变化环境下的表情识别问题。
-
公开(公告)号：CN113326868B
公开(公告)日：2022-07-15
申请号：CN202110490342.6
申请日：2021-05-06
Applicant: 南京邮电大学
Abstract: 本发明公开了一种用于多模态情感分类的决策层融合方法，该方法包括：将多模态情感数据集中的样本分成训练集和测试集；分别构建各种模态的情感分类模型，使用训练集中对应模态的样本分别对各种模态的情感分类模型进行训练；使用训练好的各种模态的情感分类模型分别对测试集中对应模态的样本进行情感分类，统计分类结果，得到各种模态的情感分类混淆矩阵；使用训练好的各种模态的情感分类模型分别对被测样本的对应模态进行情感分类；利用分类混淆矩阵对被测样本的各种模态的情感分类结果进行决策层融合，得到被测样本的情感类别。本发明充分利用了不同模态信息差异性的先验知识以及模态之间的互补性，可以有效提升多模态情感分类的准确率和鲁棒性。
-
-
-
-
-
-
-
-
-
Search Results
112
records
(took 0.025 seconds)
