-
公开(公告)号：CN114169364A
公开(公告)日：2022-03-11
申请号：CN202111366669.9
申请日：2021-11-18
Applicant: 南京邮电大学
Abstract: 本发明提出了一种基于时空图模型的脑电情感识别方法，包括获取脑电情感数据库，并对数据进行预处理，将数据集划分为训练集和测试集；对时长为T的脑电信号进行样本划分，用一个时间长度为M的滑动窗口对脑电信号进行采样，得到T/M个脑电样本；构建基于Bert的图模型网络，对脑电样本各时刻信号的空间特征进行学习分析；构造时间LSTM网络，用LSTM网络分析脑电样本各时刻之间的时间相关性；利用训练集对所构建的时空Bert图模型网络进行训练，优化网络模型，利用测试集对优化模型网络进行测试，统计分类识别。本发明不仅考虑脑电空间信息，还加入时间信息，实现对脑电信号特征的较全面学习，提高识别准确率。
-
Patent Agency Ranking
公开(公告)号：CN113935435A
公开(公告)日：2022-01-14
申请号：CN202111360121.3
申请日：2021-11-17
Applicant: 南京邮电大学
Abstract: 本发明提出了一种基于时空特征融合的多模态情感识别方法，包括以下步骤：建立一个包含语音、表情和姿态的多模态情感数据库；构建基于不对称非局部神经网络和空时LSTM的结合网络；将表情图像、语谱图和姿态图像输入到ResNet101模型中，获得深度特征图；将深度特征图构建深度特征序列作为空间LSTM的输入，学习特征序列的空间结构相关性；将空间LSTM的输出作为时间LSTM的输入，学习每一帧图像上时间相关性；将表情、语音和姿态特征进行融合，并将融合后的特征输入DBN网络进行进一步的融合训练，最后输入softmax层得到多分类结果。本发明基于时空LSTM和不对称非局部神经网络提取语音、表情和姿态情感特征并进行多模态特征融合分类。
-
公开(公告)号：CN113935435B
公开(公告)日：2025-01-17
申请号：CN202111360121.3
申请日：2021-11-17
Applicant: 南京邮电大学
IPC: G06V20/40 , G06V10/82 , G06V10/80 , G06N3/0464 , G06V10/764
Abstract: 本发明提出了一种基于时空特征融合的多模态情感识别方法，包括以下步骤：建立一个包含语音、表情和姿态的多模态情感数据库；构建基于不对称非局部神经网络和空时LSTM的结合网络；将表情图像、语谱图和姿态图像输入到ResNet101模型中，获得深度特征图；将深度特征图构建深度特征序列作为空间LSTM的输入，学习特征序列的空间结构相关性；将空间LSTM的输出作为时间LSTM的输入，学习每一帧图像上时间相关性；将表情、语音和姿态特征进行融合，并将融合后的特征输入DBN网络进行进一步的融合训练，最后输入softmax层得到多分类结果。本发明基于时空LSTM和不对称非局部神经网络提取语音、表情和姿态情感特征并进行多模态特征融合分类。
-
公开(公告)号：CN112800979A
公开(公告)日：2021-05-14
申请号：CN202110133950.1
申请日：2021-02-01
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于表征流嵌入网络的动态表情识别方法及系统。该方法包括：采集人脸表情视频片段，建立包含表情类别标签的人脸表情视频库；构建嵌入表征流层的卷积神经网络模型，该模型包括数据处理层、第一特征提取模块、表征流层、第二特征提取模块、注意力机制模块、全连接层和分类层；使用人脸表情视频库中的视频样本对所述的卷积神经网络模型进行训练；利用训练好的模型对测试视频进行人脸表情识别，输出表情类别。本发明在卷积神经网络中嵌入可微分的表征流层，在特征图层面借鉴传统光流法生成表征光流图，利用时间序列上特征图之间的表征光流来提取视频帧序列中的动态表情特征，能够有效提高人脸表情识别的准确率、鲁棒性及实时性。
-
公开(公告)号：CN114169364B
公开(公告)日：2024-07-26
申请号：CN202111366669.9
申请日：2021-11-18
Applicant: 南京邮电大学
IPC: G06F18/20 , G06F18/24 , G06N3/0464 , G06N3/0442 , G06F18/22
Abstract: 本发明提出了一种基于时空图模型的脑电情感识别方法，包括获取脑电情感数据库，并对数据进行预处理，将数据集划分为训练集和测试集；对时长为T的脑电信号进行样本划分，用一个时间长度为M的滑动窗口对脑电信号进行采样，得到T/M个脑电样本；构建基于Bert的图模型网络，对脑电样本各时刻信号的空间特征进行学习分析；构造时间LSTM网络，用LSTM网络分析脑电样本各时刻之间的时间相关性；利用训练集对所构建的时空Bert图模型网络进行训练，优化网络模型，利用测试集对优化模型网络进行测试，统计分类识别。本发明不仅考虑脑电空间信息，还加入时间信息，实现对脑电信号特征的较全面学习，提高识别准确率。
-
公开(公告)号：CN112800979B
公开(公告)日：2022-08-26
申请号：CN202110133950.1
申请日：2021-02-01
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/774 , G06V10/764 , G06V10/82 , G06N3/04
Abstract: 本发明公开了一种基于表征流嵌入网络的动态表情识别方法及系统。该方法包括：采集人脸表情视频片段，建立包含表情类别标签的人脸表情视频库；构建嵌入表征流层的卷积神经网络模型，该模型包括数据处理层、第一特征提取模块、表征流层、第二特征提取模块、注意力机制模块、全连接层和分类层；使用人脸表情视频库中的视频样本对所述的卷积神经网络模型进行训练；利用训练好的模型对测试视频进行人脸表情识别，输出表情类别。本发明在卷积神经网络中嵌入可微分的表征流层，在特征图层面借鉴传统光流法生成表征光流图，利用时间序列上特征图之间的表征光流来提取视频帧序列中的动态表情特征，能够有效提高人脸表情识别的准确率、鲁棒性及实时性。
-
-
-
-
-
Search Results
6
records
(took 0.017 seconds)
