-
公开(公告)号:CN111583966B
公开(公告)日:2022-06-28
申请号:CN202010372728.2
申请日:2020-05-06
Applicant: 东南大学
Abstract: 本发明公开了一种基于联合分布最小二乘回归的跨数据库语音情感识别方法及装置,方法包括:(1)获取训练数据库和测试数据库,其中,训练语音数据库中包含有若干语音片段和对应的语音情感类别标签,测试数据库中仅包含有若干待识别语音片段;(2)利用若干声学低维描述子对语音片段进行处理并进行统计,将统计得到的每个信息作为一个情感特征,并将多个情感特征组成向量作为对应语音片段的特征向量;(3)建立基于联合分布的最小二乘回归模型,利用训练数据库与测试数据库联合训练,得到稀疏投影矩阵;(4)对于待识别语音片段,按照步骤(2)得到特征向量,并采用学习到的稀疏投影矩阵,得到对应的语音情感类别标签。本发明可以适应不同环境,准确率更高。
-
公开(公告)号:CN114343676A
公开(公告)日:2022-04-15
申请号:CN202111623708.9
申请日:2021-12-28
Applicant: 东南大学
Abstract: 本发明公开了一种基于自适应层次图神经网络的脑电情感识别方法及装置,方法包括:(1)获取包括若干脑电情感数据和所属情感类别标签的脑电情感数据库;(2)提取脑电情感数据库中脑电情感数据的每个脑电电极的手工特征;(3)建立脑电情感识别网络,所述脑电情感识别网络具体为自适应层次图神经网络(4)将脑电情感数据的脑电电极的手工特征和脑电情感数据所属情感类别标签作为样本,输入所述脑电情感识别网络进行训练;(5)将待识别的脑电情感数据的脑电电极的手工特征输入训练好的脑电情感识别网络,得到情感类别。本发明识别准确率更高。
-
公开(公告)号:CN110427881B
公开(公告)日:2021-11-26
申请号:CN201910706550.8
申请日:2019-08-01
Applicant: 东南大学
Abstract: 本发明公开了一种基于人脸局部区域特征学习的跨数据库微表情识别方法及装置,包括:(1)获取两个微表情数据库,分别作为训练数据库和测试数据库,其中,每个微表情数据库中包含有若干微表情视频和对应的微表情类别标签;(2)将训练数据库和测试数据库中的微表情视频转换为微表情图像序列,并从中提取出灰度人脸图像,再经过分块后提取人脸局部区域特征;(3)建立组稀疏线性回归模型,并采用人脸局部区域特征对其进行学习,得到一个连接人脸局部区域特征与微表情类别标签之间的稀疏投影矩阵;(4)对于待识别的微表情,按照步骤(2)得到人脸局部区域特征,并采用学习到的稀疏投影矩阵,得到对应的微表情类别标签。本发明准确率更高,更方便。
-
公开(公告)号:CN113449661A
公开(公告)日:2021-09-28
申请号:CN202110758045.5
申请日:2021-07-05
Applicant: 东南大学
Abstract: 本发明公开了一种基于注意力机制的自适应微表情识别方法,包括如下步骤:对微表情数据库的图像序列进行一系列的预处理工作;每个微表情序列作为一个样本,从每个序列中以一定的间隔选取一定数量的图像,选取的每张图像采用基于运动放大的方法放大1‑9倍;在一组不同的放大图像间添加注意力权重,并将其最终整合成一个特征向量;对于同一序列下的一组图像对应的一组向量,通过注意力机制对这些向量施加不同的注意力权重,再次以相同方式将这些向量整合成一个向量;将最终表示向量送入网络进行训练;获取待识别的微表情图像序列,按照上述方式得到最终表示向量后,输出情感类别。本发明能够获得更高的识别准确率。
-
公开(公告)号:CN112489689A
公开(公告)日:2021-03-12
申请号:CN202011376020.0
申请日:2020-11-30
Applicant: 东南大学
Abstract: 本发明公开了一种基于多尺度差异对抗的跨数据库语音情感识别方法,方法包括:(1)获取多个语音情感数据库;(2)提取每一语音信号的全局IS10特征,提取全局特征;(3)将语音信号分成前后重叠50%的五段短片段并分别提取其IS10特征;(4)输入双向长短时间记忆模型,再输入注意力机制模型,输出作为局部特征;(5)将全局IS10特征和局部特征并联,提取联合特征;(6)建立神经网络,包括对应于上述三种尺度的三个领域判别器,和情感分类器;(7)训练神经网络,网络总损失为情感分类器损失减去三个领域判别器损失;(8)获取待识别语音信号的三种尺度特征,输入训练好的神经网络,得到预测的情感类别。本发明识别结果更准确。
-
公开(公告)号:CN112101119A
公开(公告)日:2020-12-18
申请号:CN202010831485.4
申请日:2020-08-18
Applicant: 东南大学
Abstract: 本发明公开了一种基于EC‑STFL损失函数的自然场景动态表情识别方法及装置,包括:(1)获取数据集,数据集中包含若干自然场景下的动态表情视频和对应的表情类别标签;(2)将数据集中的表情视频转换为表情图片序列;(3)将数据集划分为训练集和测试集,选择一个深度神经网络作为主干网络,结合EC‑STFL损失函数,搭建网络模型;(4)将数据集中的训练集的图片序列输入网络模型进行训练;(5)将数据集中的测试集图片序列输入到训练好的网络模型中,识别该视频中的表情类别。本发明结合了基于表情聚集‑时空特征学习(EC‑STFL)的损失函数和交叉熵损失函数的优势,在批处理阶段同时聚集同类表情、分离不同类的表情,有效地提高了自然场景下的动态表情识别率。
-
公开(公告)号:CN111832426A
公开(公告)日:2020-10-27
申请号:CN202010578064.5
申请日:2020-06-23
Applicant: 东南大学
Abstract: 本发明公开了一种基于双稀疏迁移学习的跨库微表情识别方法及装置,方法包括:(1)获取不同的微表情训练数据库和测试数据库(2)将训练数据库和测试数据库中的微表情数据分别处理得到微表情的LBP-TOP特征;(3)建立双稀疏迁移学习模型;(4)将训练数据库和测试数据库的微表情特征数据输入双稀疏迁移学习模型进行训练,训练时;(5)获取待识别的微表情数据LBP-TOP特征,输入训练好的双稀疏迁移学习模型,输出情感类别。本发明准确率更高。
-
公开(公告)号:CN110427881A
公开(公告)日:2019-11-08
申请号:CN201910706550.8
申请日:2019-08-01
Applicant: 东南大学
Abstract: 本发明公开了一种基于人脸局部区域特征学习的跨数据库微表情识别方法及装置,包括:(1)获取两个微表情数据库,分别作为训练数据库和测试数据库,其中,每个微表情数据库中包含有若干微表情视频和对应的微表情类别标签;(2)将训练数据库和测试数据库中的微表情视频转换为微表情图像序列,并从中提取出灰度人脸图像,再经过分块后提取人脸局部区域特征;(3)建立组稀疏线性回归模型,并采用人脸局部区域特征对其进行学习,得到一个连接人脸局部区域特征与微表情类别标签之间的稀疏投影矩阵;(4)对于待识别的微表情,按照步骤(2)得到人脸局部区域特征,并采用学习到的稀疏投影矩阵,得到对应的微表情类别标签。本发明准确率更高,更方便。
-
公开(公告)号:CN115035915B
公开(公告)日:2025-04-04
申请号:CN202210605389.7
申请日:2022-05-31
Applicant: 东南大学
IPC: G10L25/63 , G10L25/27 , G10L25/03 , G06F16/683
Abstract: 本发明公开了一种基于隐式对齐子空间学习的跨库语音情感识别方法及装置,方法包括:(1)获取两个语音情感数据库,分别作为训练数据库和测试数据库;(2)对训练数据库和测试数据库中的每个语音样本提取语音特征;(3)建立联合分布隐式对齐子空间学习模型(4)根据语音样本的语音特征对所述学习模型进行学习,得到语料不变投影矩阵U的最优值#imgabs0#(5)对于待识别语音,按照步骤(2)得到语音特征,并采用学习到的#imgabs1#得到对应的情感类别。本发明识别准确率更高。
-
公开(公告)号:CN114550272B
公开(公告)日:2024-04-09
申请号:CN202210247495.2
申请日:2022-03-14
Applicant: 东南大学
IPC: G06V40/16 , G06V10/774 , G06V10/764
Abstract: 本发明公开了一种基于视频时域动态注意力模型的微表情识别方法及装置,方法包括:(1)获取微表情数据库,所述微表情数据中包括若干微表情视频和对应的微表情类别标签;(2)构建微表情识别模型,所述微表情识别模型包括:光流特征提取模块、深度特征提取模块、加权深度特征提取模块、全连接层以及softmax层,用于根据加权视频级别深度特征识别出对应微表情视频所属类别;(3)将微表情数据库的每一微表情视频和对应标签作为一个样本,输入所述微表情识别模型,进行训练;(4)将待识别的微表情视频输入训练好的微表情识别模型,输出即为识别的微表情类别。本发明识别准确率更高。
-
-
-
-
-
-
-
-
-