-
公开(公告)号：CN114169364B
公开(公告)日：2024-07-26
申请号：CN202111366669.9
申请日：2021-11-18
Applicant: 南京邮电大学
IPC: G06F18/20 , G06F18/24 , G06N3/0464 , G06N3/0442 , G06F18/22
Abstract: 本发明提出了一种基于时空图模型的脑电情感识别方法，包括获取脑电情感数据库，并对数据进行预处理，将数据集划分为训练集和测试集；对时长为T的脑电信号进行样本划分，用一个时间长度为M的滑动窗口对脑电信号进行采样，得到T/M个脑电样本；构建基于Bert的图模型网络，对脑电样本各时刻信号的空间特征进行学习分析；构造时间LSTM网络，用LSTM网络分析脑电样本各时刻之间的时间相关性；利用训练集对所构建的时空Bert图模型网络进行训练，优化网络模型，利用测试集对优化模型网络进行测试，统计分类识别。本发明不仅考虑脑电空间信息，还加入时间信息，实现对脑电信号特征的较全面学习，提高识别准确率。
-
Patent Agency Ranking
公开(公告)号：CN111950592B
公开(公告)日：2022-09-23
申请号：CN202010660340.2
申请日：2020-07-10
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/80 , G06V10/774
Abstract: 本发明公开了一种基于监督最小二乘多类核典型相关分析的多模态情感特征融合方法。其步骤：提取各模态特征所需要的样本；提取表情模态、语音模态及姿态模态的特征，构成特征矩阵；对提取的各模态特征进行去均值、归一化处理；使用监督最小二乘多类核典型相关分析方法进行多模态特征的融合；进行模型训练得到预测评估结果。本发明针对多类别情感分析问题，将波兰多模态数据库中所有人的各类情感整理分成7类情绪，分别为恐惧、惊讶、愤怒、悲伤、高兴、厌恶及平静，提出基于监督最小二乘多类核典型相关分析的方法来融合多种模态的特征数据，使用此方法计算各模态特征之间的相关性，计算特征之间的关联，能够使计算机更准确的分别人类的各种情绪。
-
公开(公告)号：CN114169364A
公开(公告)日：2022-03-11
申请号：CN202111366669.9
申请日：2021-11-18
Applicant: 南京邮电大学
Abstract: 本发明提出了一种基于时空图模型的脑电情感识别方法，包括获取脑电情感数据库，并对数据进行预处理，将数据集划分为训练集和测试集；对时长为T的脑电信号进行样本划分，用一个时间长度为M的滑动窗口对脑电信号进行采样，得到T/M个脑电样本；构建基于Bert的图模型网络，对脑电样本各时刻信号的空间特征进行学习分析；构造时间LSTM网络，用LSTM网络分析脑电样本各时刻之间的时间相关性；利用训练集对所构建的时空Bert图模型网络进行训练，优化网络模型，利用测试集对优化模型网络进行测试，统计分类识别。本发明不仅考虑脑电空间信息，还加入时间信息，实现对脑电信号特征的较全面学习，提高识别准确率。
-
公开(公告)号：CN113935435A
公开(公告)日：2022-01-14
申请号：CN202111360121.3
申请日：2021-11-17
Applicant: 南京邮电大学
Abstract: 本发明提出了一种基于时空特征融合的多模态情感识别方法，包括以下步骤：建立一个包含语音、表情和姿态的多模态情感数据库；构建基于不对称非局部神经网络和空时LSTM的结合网络；将表情图像、语谱图和姿态图像输入到ResNet101模型中，获得深度特征图；将深度特征图构建深度特征序列作为空间LSTM的输入，学习特征序列的空间结构相关性；将空间LSTM的输出作为时间LSTM的输入，学习每一帧图像上时间相关性；将表情、语音和姿态特征进行融合，并将融合后的特征输入DBN网络进行进一步的融合训练，最后输入softmax层得到多分类结果。本发明基于时空LSTM和不对称非局部神经网络提取语音、表情和姿态情感特征并进行多模态特征融合分类。
-
公开(公告)号：CN113935435B
公开(公告)日：2025-01-17
申请号：CN202111360121.3
申请日：2021-11-17
Applicant: 南京邮电大学
IPC: G06V20/40 , G06V10/82 , G06V10/80 , G06N3/0464 , G06V10/764
Abstract: 本发明提出了一种基于时空特征融合的多模态情感识别方法，包括以下步骤：建立一个包含语音、表情和姿态的多模态情感数据库；构建基于不对称非局部神经网络和空时LSTM的结合网络；将表情图像、语谱图和姿态图像输入到ResNet101模型中，获得深度特征图；将深度特征图构建深度特征序列作为空间LSTM的输入，学习特征序列的空间结构相关性；将空间LSTM的输出作为时间LSTM的输入，学习每一帧图像上时间相关性；将表情、语音和姿态特征进行融合，并将融合后的特征输入DBN网络进行进一步的融合训练，最后输入softmax层得到多分类结果。本发明基于时空LSTM和不对称非局部神经网络提取语音、表情和姿态情感特征并进行多模态特征融合分类。
-
公开(公告)号：CN111950592A
公开(公告)日：2020-11-17
申请号：CN202010660340.2
申请日：2020-07-10
Applicant: 南京邮电大学
IPC: G06K9/62
Abstract: 本发明公开了一种基于监督最小二乘多类核典型相关分析的多模态情感特征融合方法。其步骤：提取各模态特征所需要的样本；提取表情模态、语音模态及姿态模态的特征，构成特征矩阵；对提取的各模态特征进行去均值、归一化处理；使用监督最小二乘多类核典型相关分析方法进行多模态特征的融合；进行模型训练得到预测评估结果。本发明针对多类别情感分析问题，将波兰多模态数据库中所有人的各类情感整理分成7类情绪，分别为恐惧、惊讶、愤怒、悲伤、高兴、厌恶及平静，提出基于监督最小二乘多类核典型相关分析的方法来融合多种模态的特征数据，使用此方法计算各模态特征之间的相关性，计算特征之间的关联，能够使计算机更准确的分别人类的各种情绪。
-
-
-
-
-
Search Results
6
records
(took 0.024 seconds)
