-
公开(公告)号:CN111126263A
公开(公告)日:2020-05-08
申请号:CN201911343069.3
申请日:2019-12-24
Applicant: 东南大学
Abstract: 本发明公开了一种基于双半球差异性模型的脑电情感识别方法及装置,方法包括:(1)获取一个脑电情感数据库,包括训练集和测试集;(2)建立脑电情感识别网络,所述脑电情感识别网络包括特征提取器、域判别器和情感分类器;(3)对所述脑电情感识别网络进行训练,训练时,将训练集和测试集中每一脑电情感数据作为一个样本,输入特征提取器,提取双半球特征,并将从训练集和测试集提取的每个双半球特征作为一个样本,输入域判别器,将从训练集提取的每个双半球特征作为一个样本,输入情感分类器;(4)提取待识别的脑电情感数据,将其作为一个测试集样本输入训练好的脑电情感识别网络,并按照步骤(3)对脑电情感识别网络调整,得到识别的情感类别。本发明准确率更高。
-
公开(公告)号:CN110516571A
公开(公告)日:2019-11-29
申请号:CN201910756936.X
申请日:2019-08-16
Applicant: 东南大学
Abstract: 本发明公开了一种基于光流注意力神经网络的跨库微表情识别方法及装置,方法包括:(1)获取两个不同的微表情数据库作为训练集和测试集;(2)将微表情视频转化为人脸图像序列;(3)从每一人脸图像序列中抽取起始帧、峰值帧和终止帧,由起始帧和峰值帧计算得到第一单通道光流图,由峰值帧和终止帧计算得到第二单通道光流图;(4)将每一人脸图像序列的第一单通道光流图、第二单通道光流图和峰值帧组成融合特征图;(5)建立光流注意力神经网络,并将训练集和测试集对应融合特征图作为输入进行训练;(6)将待识别的微表情视频处理得到融合特征图,输入光流注意力神经网络,得到微表情类别。本发明泛化能力强,识别准确率高。
-
公开(公告)号:CN110390955A
公开(公告)日:2019-10-29
申请号:CN201910583878.5
申请日:2019-07-01
Applicant: 东南大学
Abstract: 本发明公开了一种基于深度域适应性卷积神经网络的跨库语音情感识别方法,包括:(1)获取语言不同的训练数据库和测试数据库(2)将训练数据库和测试数据库中的语音信号分别处理得到每段语音信号的频谱图;(3)建立卷积神经网络;(4)将训练数据库和测试数据库的语音信号频谱图分别输入卷积神经网络进行训练,训练时,先计算训练数据库和测试数据库语音信号频谱图分别对应的全连接层输出之间的最大均值差异,之后计算训练数据库softmax层输出以及其情感类别标签之间的交叉熵,最后将最大均值差异和交叉熵相加作为网络损失采用反向传播算法更新网络参数,完成网络训练;(5)获取待识别的语音信号频谱图,输入训练好的深度卷积神经网络,输出情感类别。本发明准确率更高。
-
公开(公告)号:CN110321820A
公开(公告)日:2019-10-11
申请号:CN201910549413.8
申请日:2019-06-24
Applicant: 东南大学
Abstract: 本发明公开了一种基于非接触式设备的视线落点检测方法,用于孤独症谱系障碍早期筛查场景下的视线落点检测系统,包括以下步骤:基于非接触式设备的数据采集场景:用于采集无约束场景下婴幼儿交互行为的多角度视频数据;视线落点检测网络:提取研究对象位置特征、头部姿态特征、眼部特征得到视线特征,与场景组件显著性特征融合,设计混合损失函数迭代更新网络模型参数,从而得到研究对象视线范围内最可能关注的显著性位置,作为视线落点。本发明避免了穿戴式设备的不利影响,且低干扰、低成本、易推广,方便采集包含研究对象、场景元素及交互对象在内多角度画面的完整信息。
-
公开(公告)号:CN119138910A
公开(公告)日:2024-12-17
申请号:CN202411174691.7
申请日:2024-08-26
Applicant: 东南大学
Abstract: 本发明公开了基于双流时空图卷积神经网络的P300检测方法及装置,涉及电位检测技术领域,包括以下步骤:获取若干P300事件相关电位脑电数据以及对应的P300事件相关电位标签,对若干P300事件相关电位脑电数据进行预处理,得到处理后的P300事件相关电位脑电数据;将处理后的P300事件相关电位脑电数据和对应的P300事件相关电位标签输入至预先建立的双流时空图卷积神经网络模型内训练,得到训练后的双流时空图卷积神经网络模型;获取待识别脑电样本,将待识别脑电样本输入至训练后的双流时空图卷积神经网络模型内,输出得到P300事件相关电位检测结果。
-
公开(公告)号:CN115049957B
公开(公告)日:2024-06-07
申请号:CN202210605395.2
申请日:2022-05-31
Applicant: 东南大学
IPC: G06V20/40 , G06V40/16 , G06V10/82 , G06V10/774 , G06V10/764 , G06T7/30 , G06T7/11 , G06N3/0464 , G06F16/75 , G06F16/71
Abstract: 本发明公开了一种基于对比放大网络的微表情识别方法及装置,方法包括:(1)获取微表情数据库(2)将微表情视频转换为微表情帧序列,预处理后采样作为源样本;(3)对于每个源样本,计算剩余帧与该源样本在嵌入空间的距离,并映射成概率,得到距离概率分布;(4)根据概率分布从剩余视频帧中采样多个帧作为负样本;(5)构建对比放大网络;(6)每个源样本进行数据增强形成锚样本和正样本,将锚样本、正样本和对应的负样本作为训练样本输入对比放大网络进行训练,损失函数为视频内对比损失、类间对比损失、交叉熵损失之和;(7)将待识别的微表情视频预处理后输入训练好的对比放大网络,识别出微表情类别。本发明准确率更高,更方便。
-
公开(公告)号:CN111259761B
公开(公告)日:2024-06-07
申请号:CN202010030240.1
申请日:2020-01-13
Applicant: 东南大学
IPC: G06F18/21 , G06F18/24 , G06N3/042 , G06N3/044 , G06N3/045 , G06N3/0464 , G06N3/084 , A61B5/00 , A61B5/16
Abstract: 本发明公开了一种基于可迁移注意力神经网络的脑电情感识别方法及装置,其中,方法包括:(1)获取一个脑电情感数据库,分为训练集和测试集;(2)建立基于可迁移注意力神经网络的脑电情感识别网络,所述脑电情感识别网络包括特征提取器和情感分类器,所述特征提取器包括依次连接的深度特征提取模块、局部注意力子网和全局注意力子网;(3)网络进行训练,总损失为情感分类器损失加上注意力熵损失后再减去注意力子网和全局注意力子网损失,通过随机梯度下降法更新网络参数;(4)提取待识别的脑电情感数据,将其作为一个测试集样本输入训练好的脑电情感识别网络,并按照步骤(3)对脑电情感识别网络调整,得到识别的情感类别。本发明识别准确率更高。
-
公开(公告)号:CN118098195A
公开(公告)日:2024-05-28
申请号:CN202410200483.3
申请日:2024-02-23
Applicant: 东南大学
IPC: G10L13/027 , G10L13/10 , G10L25/60
Abstract: 本发明公开了一种基于多层级韵律特征的情感语音生成方法及装置,方法包括:将文本数据转换为拼音序列,将所述音频数据转换为线性声谱图;根据所述拼音序列预测具有情感类别标签对应情感的语言学韵律变量;根据所述线性声谱图提取具有情感类别标签对应情感的声学韵律变量,将所述语言学韵律变量和声学韵律变量进行匹配,合成潜在韵律变量;根据潜在韵律变量生成情感音频数据,以及情感音频数据的音频质量和自然度。本发明效果更精准、生成情感语音的自然度更高。
-
公开(公告)号:CN114469137B
公开(公告)日:2023-12-26
申请号:CN202111560169.9
申请日:2021-12-20
Applicant: 东南大学
Abstract: 本发明公开了一种基于空时特征融合模型的跨领域脑电情感识别方法和系统,方法包括:(1)获取两个脑电情感数据库,一个作为训练集另一个作为测试集;(2)建立脑电情感识别网络,包括从前到后依次连接的预处理器、数据对齐器、空时特征提取器和情感分类器,其中,所述空时特征提取器首先提取脑电情感数据的时频谱特征,然后将提取的时频谱特征转换为三维张量后进行空时特征提取,所述情感分类器根据空时特征进行情感分类;(3)对所述脑电情感识别网络进行训练;(4)获取待识别的脑电情感数据,将其作为一个测试集样本输入训练好的脑电情感识别网络,得到识别的情感类别。本发明识别准确率更高。
-
公开(公告)号:CN117275524A
公开(公告)日:2023-12-22
申请号:CN202311349586.8
申请日:2023-10-18
Applicant: 东南大学
Abstract: 本发明公开了一种基于时频Transformer的语音情感识别方法及系统,通过特征提取模块得到的语音对数梅尔频谱特征时频情感信息丰富,然后通过编码器与相应的Transformer模块得到与情感高度相关又与噪声等干扰无关的高泛化性的特征,最后利用分类器模块判别样本的情绪类别,本发明识别率更高、泛化性更好。
-
-
-
-
-
-
-
-
-