-
公开(公告)号：CN118013461A
公开(公告)日：2024-05-10
申请号：CN202410243123.1
申请日：2024-03-04
Applicant: 杭州电子科技大学
IPC: G06F18/25 , G06F18/213 , G06N3/049 , G06N3/0455 , G06V10/80 , G06V10/40
Abstract: 本发明公开一种降低短时模态冗余信息的情感识别方法及其系统。本发明首先获取多模态数据并从中提取富含时序性价值的不同模态的特征。然后，将其中不同模态的特征处理为对应的长短时特征。并从短时特征的角度思考，认为其在与长时特征融合时需考虑冗余信息的干扰问题，并使用脉冲神经元去过滤多余部分。最后，依据短时特征的特性，使其在与长时特征融合时更加贴合，降低短时特征对长时特征本身的干扰。本发明首次将长短时多模态的概念引入情感检测领域，通过短时模态信息辅助上下文长时文本模态的思想，过滤短时模态特征信息，进一步提高识别情感的能力。
-
公开(公告)号：CN117653145A
公开(公告)日：2024-03-08
申请号：CN202311664222.9
申请日：2023-12-06
Applicant: 杭州电子科技大学
IPC: A61B5/372 , A61B5/00 , G06F18/10 , G06F18/213 , G06F18/24 , G06F18/22 , G06N3/092 , G06N3/0464 , G06N3/084
Abstract: 本发明公开了基于对偶强化学习脑电数据相互生成的目标检测方法。该方法采集多个被试观看相同标签序列时的脑电信号数据。然后将任意两个被试进行配对，尝试互相生成脑电信号，基于对偶学习方法强化训练生成脑电信号的网络模型。然后将一对被试的脑电数据样本输入训练后的生成网络中，得到脑电数据对。针对每个被试的生成脑电数据与原始脑电数据进行相关性分析，选择其中相关性最高的生成脑电数据作为该被试最终的强化脑电数据。使用强化脑电数据与原始脑电数据一同训练检测模型，最后在测试阶段使用该检测模型针对单被试的脑电信号进行目标检测，以解决单一被试容易出现的走神、目标丢失，导致检测结果不佳的问题。
-
公开(公告)号：CN114169408A
公开(公告)日：2022-03-11
申请号：CN202111368526.1
申请日：2021-11-18
Applicant: 杭州电子科技大学
Abstract: 本发明公开一种基于多模态注意力机制的情感分析方法。本发明利用异构图不同节点之间的复杂的关系去构建多个模态之间的交互。在多个模态信息交互的过程中，将不同的模态信息汇聚到一个紧凑的多模态表示中，用于偏移文本模态信息在语义空间中的位置。同时，多模态注意力机制技术能够以一种细粒度的方式对于多模态信息做融合，因此能够很好的解决在多模态学习中存在的固有问题，即行为信息的变化频率通常快于文本信息的变化频率。通过实验发现，该方法在不同任务的情感分析取得很好的表现，说明多模态注意力机制应用在情感分析任务的可行性，是对当前情感识别领域的多模态融合框架提供了新的研究手段。
-
公开(公告)号：CN118349905A
公开(公告)日：2024-07-16
申请号：CN202410376747.0
申请日：2024-03-29
Applicant: 杭州电子科技大学
IPC: G06F18/2415 , G06F18/25 , G06F18/214 , G06F18/21 , G06N3/0464 , A61B5/16
Abstract: 本发明公开一种基于EEG和EOG的多模态情绪识别方法。该方法利用了注意力机制、典型相关性分析等技术，使得模型能够更好地理解和利用不同模态的信息，从而更有效地进行情感分析。首先，我们使用卷积神经网络分别从时域和空域提取EEG和EOG的时空特征。接着，我们采用典型相关分析来计算两种模态特征之间的相似度，并通过反向传播来调整参数，从而提高这两者之间的相关性。同时，我们还采用一种基于注意力的融合方法，动态地整合两种模态的特征，最终用于情绪分类。结果证明，本发明提出的方法可以将不同模态的特征有效的结合起来，提高情感识别等任务的性能和准确性。
-
公开(公告)号：CN112541541B
公开(公告)日：2024-03-22
申请号：CN202011452285.4
申请日：2020-12-10
Applicant: 杭州电子科技大学
IPC: G06F18/25 , G06F17/16 , G06F40/253 , G06N3/0442
Abstract: 本发明公开了基于多元素分层深度融合的轻量级多模态情感分析方法；本发明以分层的方式建立多模态元素之间的直接相关性，可以捕获不同模态之间的短时和长时依赖性。为避免降低分辨率并保留与每个模态相对应的原始空间结构信息，在选择和强调多模态信息交互时，本发明以广播的形式应用相应的注意力权重。此外，本发明也提出了一个新的张量算子，称为Ex‑KR加法，以利用共享信息来融合多模态元素信息得到全局张量表征。这是针对当前多模态情感识别领域中大多数方法仅仅关注在局部的时序‑多模态空间中的建模，并且不能明确地学习得到所有参与模态融合的完整的表示形式等问题的有效补充。
-
Patent Agency Ranking
公开(公告)号：CN114936552A
公开(公告)日：2022-08-23
申请号：CN202210624963.3
申请日：2022-06-02
Applicant: 杭州电子科技大学
IPC: G06F40/284 , G06K9/62
Abstract: 本发明公开一种未对齐行为信息动态调整单词表示的多模态情感识别方法。本发明利用跨模态注意力机制，挖掘与文本模态相关的行为信息(由视觉是听觉模态组成)，然后利用行为信息来动态的修改文本模态中的单词在语义空间中的位置，从而得到经过多模态信息调整后的单词表示。同时，跨模态注意力机制能够在长距离范围内关注到与文本模态相关的行为信息，因此能够很好的解决多模态学习中存在的固有问题—各个模态信息之间的频率不匹配。其次，在此基础上构建若干个多模态Transformer层，能够进一步挖掘经过多模态信息调整后的单词表示在上下文环境中的高级特征信息，是对当前情感识别领域的多模态融合框架的有效补充。
-
公开(公告)号：CN112612936B
公开(公告)日：2022-03-08
申请号：CN202011581373.4
申请日：2020-12-28
Applicant: 杭州电子科技大学
IPC: G06F16/906 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开一种基于对偶转换网络的多模态情感分类方法。本发明结合对偶学习机制以及自注意力机制，在将一个模态转换为另一个模态的过程中，挖掘模态对之间具有方向性的长时交互的跨模态融合信息。同时，对偶学习技术能够增强模型的鲁棒性，因此能很好地应对多模态学习中存在的固有问题——模态数据缺失问题。其次，在此基础上构建的分层融合框架，将所有具有同一个源模态的跨模态融合信息拼接在一块，从而采用一维卷积层进行融合操作，能够进一步挖掘多模态信息之间的高层次互补信息，是对当前情感识别领域的多模态融合框架的有效补充。
-
公开(公告)号：CN113974628A
公开(公告)日：2022-01-28
申请号：CN202111272389.1
申请日：2021-10-29
Applicant: 杭州电子科技大学
IPC: A61B5/16 , A61B5/369 , A61B5/378 , A61B5/00 , G06K9/00 , G06K9/62 , G06N3/04 , G06N3/08 , G06N20/00
Abstract: 本发明公开一种基于脑机模态共空间的情绪识别方法。针对情绪识别任务，人脑处理信息后得到的是具有情感的认知表征，而机器学习到的仅仅是图像的形式表征，如果能够建立两者之间的共性关系，通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器，需要建立图像模态和脑电模态的共空间模型，从而获取形式表征和认知表征之间的共性信息。本发明将探索脑电模态与图像模态之间的共性关系，建立形式表征与认知表征之间的联系，实现脑机协同智能。为了减少认知表征与形式表征间的差异，使得形式表征无限逼近认知表征，本发明设计一种“基于脑机模态共空间的情绪识别方法”。
-
公开(公告)号：CN113208593A
公开(公告)日：2021-08-06
申请号：CN202110378481.X
申请日：2021-04-08
Applicant: 杭州电子科技大学
Abstract: 本发明公开了基于相关性动态融合的多模态生理信号情绪分类方法，该方法首先采集多模态生理信号，再使用神经网络进行特征提取，然后计算两两模态间的皮尔逊相关系数，按照相关性系数的大小确定多模态两两融合的顺序，首先融合相关性大的两个模态特征向量，再依次融合相关性小的其他特征向量。最后使用全连接层对采集的多模态生理信号进行分类，并使用交叉熵损失函数与Adam优化器进行整体的训练、优化。本方法基于时序动态的相关性系数对多模态生理信号进行两两融合，使输入分类器的特征向量包含更丰富的信息，提高了分类准确度。
-
公开(公告)号：CN109646022B
公开(公告)日：2021-06-01
申请号：CN201910023305.7
申请日：2019-01-10
Applicant: 杭州电子科技大学
Abstract: 本发明公开儿童注意力评估系统及其方法。本发明通过采集儿童的前额脑电并获取原始注意力数据，对其进行处理与分析，建立基于脑电的注意力评价模型，并得到注意力的各项客观指标。本发明提出的注意力评估模型将注意力状态分为六种：放松状态、注意力转移状态、任务状态、专注状态、走神状态、注意力消失状态；并且计算注意力的若干指标：放松状态平均注意力、专注状态平均注意力、最高注意力、注意力强度、注意力的持久性、注意力的稳定性、注意力状态转移效率。本发明将会有效帮助家长了解孩子注意力状况，提升儿童注意力水平，促进孩子学习成绩提高。
-
-
-
-
-
-
-
-
-
Search Results
29
records
(took 0.027 seconds)
