-
公开(公告)号：CN118021303A
公开(公告)日：2024-05-14
申请号：CN202410149732.0
申请日：2024-02-02
Applicant: 杭州电子科技大学
IPC: A61B5/16 , A61B5/369 , A61B5/398 , A61B5/00 , G06F18/00 , G06F18/10 , G06F18/2415 , G06F18/25 , G06F18/213 , G06N3/0464 , G06N3/048
Abstract: 本发明提出一种基于伪孪生网络的多模态情感分析方法及其系统。该方法利用整合深度可分离卷积策略的金字塔网络作为脑电的处理模块，挖掘并融合多个尺度的脑电的时间和空间情感感知特征，提炼更深度更有效的脑电内在本征特征；同时，利用两个全连接网络层作为眼电处理模块提取眼电的行为特征。此外，为了进一步学习模态间的关系，本发明使用含有双分支子网的伪孪生网络变换每个模态的情感特征，并在该模块中使用相似性约束将不同模态的特征协调到相似的超空间中。然后采用特征融合，学习不同模态对情感识别的权重参与到模型分类决策，实现多模态情感特征的一致性和互补性，从而提高模型的性能和泛化能力。
-
公开(公告)号：CN114118200B
公开(公告)日：2023-05-12
申请号：CN202111120932.6
申请日：2021-09-24
Applicant: 杭州电子科技大学
IPC: G06F18/2415 , G06F16/906
Abstract: 本发明公开一种基于注意力引导双向胶囊网络的多模态情感分类方法。由于具有可训练的视点不变变换特性，胶囊网络目前在分析多模态学习的异质性问题上已经证明了它的有效性。在预处理阶段，本发明提供了多模态动态交互增强模块，在特征层面上显式地增强了跨模态同质性，这有利于模型在更加紧凑的局部公共空间内有效地执行多模态解耦过程。在此基础上，提出了基于注意力引导的双向胶囊网络(ABCN)，通过新的双向动态路由机制来探索全局多模态公共消息。然后，利用全局多模态上下文来指导多模态动态路由过程，同时研究每个模态的全局最优公共线索。这大大提高了学习效率，并提供了在所有模式之间架起桥梁的优越能力。
-
公开(公告)号：CN113974628B
公开(公告)日：2023-04-07
申请号：CN202111272389.1
申请日：2021-10-29
Applicant: 杭州电子科技大学
IPC: A61B5/16 , A61B5/369 , A61B5/378 , A61B5/00 , G06F18/10 , G06F18/213 , G06F18/24 , G06F18/25 , G06F18/214 , G06N3/08 , G06N20/00 , G06N3/0464
Abstract: 本发明公开一种基于脑机模态共空间的情绪识别方法。针对情绪识别任务，人脑处理信息后得到的是具有情感的认知表征，而机器学习到的仅仅是图像的形式表征，如果能够建立两者之间的共性关系，通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器，需要建立图像模态和脑电模态的共空间模型，从而获取形式表征和认知表征之间的共性信息。本发明将探索脑电模态与图像模态之间的共性关系，建立形式表征与认知表征之间的联系，实现脑机协同智能。为了减少认知表征与形式表征间的差异，使得形式表征无限逼近认知表征，本发明设计一种“基于脑机模态共空间的情绪识别方法”。
-
公开(公告)号：CN115659242A
公开(公告)日：2023-01-31
申请号：CN202211377291.7
申请日：2022-11-04
Applicant: 杭州电子科技大学
IPC: G06F18/241 , G06F18/25 , G06F18/15 , G06F40/30 , G06V20/40 , G06V10/82 , G10L25/30 , G10L25/63 , G06N3/0455 , G06N3/0442 , G06N3/0464
Abstract: 本发明公开一种基于模态增强卷积图的多模态情感分类方法。本发明提出了一个新的模态增强融合框架，它基于图卷积神经网络，为融合未对齐的多模态序列提供了一个有效的方法。在文本模态的帮助下，首先使用多模态增强模块来增强视觉和听觉模态以获得具有更强情感鉴别性的模态信息，从而帮助后续的聚合过程。此外，还构建了文本驱动的多模态特征图来进行模态融合，这可以有效地处理图卷积聚合过程中各模态之间的不平衡问题。最后将模态增强卷积图中提取的融合信息整合到文本表征中，从而动态地将原始文本表征向最准确的多模态语义空间转化。相比于现有多模态融合方法，本发明的结果更优。
-
公开(公告)号：CN115310560A
公开(公告)日：2022-11-08
申请号：CN202211139018.0
申请日：2022-09-19
Applicant: 杭州电子科技大学
Abstract: 本发明公开一种基于模态空间同化和对比学习的多模态情感分类方法。本发明引入了同化的概念，利用由模态之间的互补信息组成的引导向量来指引每个模态同时接近解空间。该操作不仅进一步提高搜索解空间的效率，而且使得三种模态的异构空间同构。在空间同构的过程中，能够在一定程度上有效平衡多个模态对最终解空间的贡献。在指导每个模态的时候，该策略能使模型更加关注情感特征，这减少了模态内冗余，构建多模态表示的难度也因此降低了。其次，本发明还运用了监督对比学习来增强模型辨别不同情绪差异的能力，使得模型能够捕捉到更为全面的多模态情感上下文。
-
Patent Agency Ranking
公开(公告)号：CN114118200A
公开(公告)日：2022-03-01
申请号：CN202111120932.6
申请日：2021-09-24
Applicant: 杭州电子科技大学
IPC: G06K9/62 , G06F16/906
Abstract: 本发明公开一种基于注意力引导双向胶囊网络的多模态情感分类方法。由于具有可训练的视点不变变换特性，胶囊网络目前在分析多模态学习的异质性问题上已经证明了它的有效性。在预处理阶段，本发明提供了多模态动态交互增强模块，在特征层面上显式地增强了跨模态同质性，这有利于模型在更加紧凑的局部公共空间内有效地执行多模态解耦过程。在此基础上，提出了基于注意力引导的双向胶囊网络(ABCN)，通过新的双向动态路由机制来探索全局多模态公共消息。然后，利用全局多模态上下文来指导多模态动态路由过程，同时研究每个模态的全局最优公共线索。这大大提高了学习效率，并提供了在所有模式之间架起桥梁的优越能力。
-
公开(公告)号：CN118734248A
公开(公告)日：2024-10-01
申请号：CN202410859676.X
申请日：2024-06-28
Applicant: 杭州电子科技大学
IPC: G06F18/25 , G06F18/241 , G06V10/80 , G06V20/70 , G06V10/82 , G06V10/764 , G06V10/74 , G06N3/0442 , G06N3/0455 , G06N3/08
Abstract: 本发明公开一种跨样本模态动态轮转的情感识别方法及其系统。首先获取多模态数据及情感分类注释，再进行对应的模态编码器预处理，得到对应初步模态特征信息。然后，使用门控残差自注意力机制捕获更深层次的模态注意力特征，并从模态情感语义信息丰富程度考量，将单模态独立情感注释与其结合共同计算出集成后的模态分数序列，进而该轮转周期下确定的模态轮转顺序。最后，使用基于跨模态门控残差注意力机制的多模态融合手段，依照该轮转顺序进行融合。本发明提出了使模态自身依据独立情感注释动态调整融合顺序的思想，着重考虑了模态之间的情感语义信息不平衡问题，探究模态主次问题对多模态情感检测领域的影响，突破了传统的主次模式。
-
公开(公告)号：CN118378212A
公开(公告)日：2024-07-23
申请号：CN202410490885.1
申请日：2024-04-23
Applicant: 杭州电子科技大学
IPC: G06F18/25 , G06F40/30 , G06N3/045 , G06N3/0442 , G06N3/0499 , G06N3/09 , G06F18/21
Abstract: 本发明提出基于细粒度语义分解网络的多模态情感分析方法及其系统，多模态数据通过细粒度语义分解网络利用模态内语义解纠缠过程是分析同一模态内隐性语义线索，模态间语义解纠缠被用来同时检测跨模态的共同和内在语义线索。在此基础上，基于跨语义空间语义交互网络，从全局的角度探讨了语言和非语言语义空间之间的长距离跨语义空间的语义联系。上述具有局部和全局视图的语义解纠缠过程显著地增强情感检测模型的鲁棒性和性能，即使对于由多个语义线索组成的情感情况。
-
公开(公告)号：CN112541541A
公开(公告)日：2021-03-23
申请号：CN202011452285.4
申请日：2020-12-10
Applicant: 杭州电子科技大学
IPC: G06K9/62 , G06F17/16 , G06F40/253 , G06N3/04 , G06N3/08
Abstract: 本发明公开了基于多元素分层深度融合的轻量级多模态情感分析方法；本发明以分层的方式建立多模态元素之间的直接相关性，可以捕获不同模态之间的短时和长时依赖性。为避免降低分辨率并保留与每个模态相对应的原始空间结构信息，在选择和强调多模态信息交互时，本发明以广播的形式应用相应的注意力权重。此外，本发明也提出了一个新的张量算子，称为Ex‑KR加法，以利用共享信息来融合多模态元素信息得到全局张量表征。这是针对当前多模态情感识别领域中大多数方法仅仅关注在局部的时序‑多模态空间中的建模，并且不能明确地学习得到所有参与模态融合的完整的表示形式等问题的有效补充。
-
公开(公告)号：CN111178389A
公开(公告)日：2020-05-19
申请号：CN201911244389.3
申请日：2019-12-06
Applicant: 杭州电子科技大学
Abstract: 本发明涉及基于多通道张量池化的多模态深度分层融合情感分析方法。基于注意力机制方法，可以对多模态数据设定相应权重，划分不同模态数据的重要程度，从而根据不同模态数据对任务的不同贡献程度，在融合部分放大贡献程度大的多模态数据在交互时的作用。而相对于单通道多项式张量池化模块，多通道多项式张量池化模块能够从细粒度层面获得鲁棒性高的局部高维度复杂非线性交互信息。本发明在判定多模态数据重要程度基础上，能从细粒度层面刻画稳定的局部高维复杂动态交互信息，是对当前情感识别领域的多模态融合框架的有效补充。
-
-
-
-
-
-
-
-
-
Search Results
29
records
(took 0.031 seconds)
