公开(公告)号：CN119848757A

公开(公告)日：2025-04-18

申请号：CN202411790798.4

申请日：2024-12-06

Applicant: 杭州电子科技大学

Inventor： 戴玮辰 ,  黄昱轩 ,  朱莉 ,  孔万增 ,  刘栋军

IPC: G06F18/25 ,  G06F18/213 ,  G06V10/80 ,  G06V10/40

Abstract: 本发明公开了一种基于视觉引导耦合学习的脑电信号6D姿态解码方法。该方法首先从不同角度拍摄同一场景的系列图像。然后以拍摄角度相邻的顺序向被试者播放系列图像，同时采集被试者观看系列图像时的脑电信号。然后将采集的脑电信号与系列图像分别输入编码器中进行独立的特征提取，再输入耦合模块中，提取各模态的私有特征以及模态间的耦合特征。之后将各模态的私有特征和耦合特征进行拼接，再输入全连接层中，解码出单模态下的6D姿态。完成模型训练后，将被试者观看系列图像时的脑电信号单独输入编码器与耦合模块中，利用脑电信号解码出对应系列图像的6D姿态。该方法结合视觉信息增强特征提取的鲁棒性和准确性，克服了方法的局限性。

公开(公告)号：CN117668545A

公开(公告)日：2024-03-08

申请号：CN202311625312.7

申请日：2023-11-30

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  刘栋军 ,  戴玮辰 ,  刘鸿刚 ,  仪航捷 ,  金宣妤

IPC: G06F18/214 ,  G06F18/241 ,  G06F18/213 ,  G06N3/0464 ,  G06N3/09 ,  G06V40/16

Abstract: 本发明公开一种基于脑机增强智能的半监督面部情绪识别方法。鉴于脑电信号包含大脑活动的情感信息和诱发其产生的视觉对象的视觉信息，本发明将其作为监督信息来实现面部情绪图像的标记，从而将大脑感知情绪的能力转移给机器。本发明将脑电信号的呈现方式从二维转变为三维，设计了EEGNet3D。其次，利用由视觉图像刺激诱发的脑电信号与脑电网络相结合，学习大脑活动的判别性脑电类表征流形。然后，通过训练视觉模型将图像投射到学习到的流形上，计算图像特征与脑电类表征之间的相似性分数来获取无标签图像的伪标签。最后，利用伪标签图像扩展训练集，训练分类模型。由此将大脑的情感判断的能力传递给机器，进而实现半监督面部情绪识别。

公开(公告)号：CN117636490A

公开(公告)日：2024-03-01

申请号：CN202311817342.8

申请日：2023-12-27

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  刘栋军 ,  戴玮辰 ,  刘鸿刚 ,  仪航捷 ,  金宣妤

IPC: G06V40/70 ,  G06V40/16 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/096 ,  G06N3/0464

Abstract: 本发明公开一种基于脑机知识蒸馏的面部表情识别方法。深度学习存在许多基本的未决问题。其中一个问题是大型模型的提出，它可以提高性能，但计算成本较高。第二个问题是，收集和标记大型数据集通常是一项成本高昂的工作。与机器不同的是，由于一般原理和认知过程，人脑可以从有限的样本中高效地获得情绪分类所需的信息。为了赋予机器人脑判断情绪的能力，使其具有接近人脑的情绪识别模式，本发明提供一种“基于脑机知识蒸馏的面部表情识别方法“，以提炼人脑知识并将其传递给机器。脑机知识蒸馏框架由教师模型和学生模型组成。教师模型从视觉图像刺激诱发的脑电信号中提炼知识。学生模型处理视觉图像，同时从教师模型中学习认知知识。

公开(公告)号：CN114936552A

公开(公告)日：2022-08-23

申请号：CN202210624963.3

申请日：2022-06-02

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  郭继伟 ,  唐佳佳 ,  戴玮辰 ,  刘栋军

IPC: G06F40/284 ,  G06K9/62

Abstract: 本发明公开一种未对齐行为信息动态调整单词表示的多模态情感识别方法。本发明利用跨模态注意力机制，挖掘与文本模态相关的行为信息(由视觉是听觉模态组成)，然后利用行为信息来动态的修改文本模态中的单词在语义空间中的位置，从而得到经过多模态信息调整后的单词表示。同时，跨模态注意力机制能够在长距离范围内关注到与文本模态相关的行为信息，因此能够很好的解决多模态学习中存在的固有问题—各个模态信息之间的频率不匹配。其次，在此基础上构建若干个多模态Transformer层，能够进一步挖掘经过多模态信息调整后的单词表示在上下文环境中的高级特征信息，是对当前情感识别领域的多模态融合框架的有效补充。

公开(公告)号：CN114469090A

公开(公告)日：2022-05-13

申请号：CN202111674867.1

申请日：2021-12-31

Applicant: 杭州电子科技大学

Inventor： 朱莉 ,  张建海 ,  孔万增 ,  戴玮辰 ,  李俊华 ,  崔高超

IPC: A61B5/16 ,  A61B5/369 ,  A61B5/378 ,  A61B5/38 ,  A61B5/00 ,  G06F3/01 ,  G06K9/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明专利的目的在于克服现有技术的不足，提供一种基于跨脑耦合关系计算的情感识别在线脑机接口系统，该系统支持多人同时使用，提升在线识别的精度和稳定性，实现对细粒度具体情感的识别。本发明基于跨脑耦合关系计算的脑电情感识别方法，具体步骤如下：步骤一：情感刺激任务；步骤二：多人脑电同步采集；步骤三、数据预处理形成训练集；步骤四、打标签；步骤五、脑电耦合关系训练；步骤六、训练结果耦合关系特征计算验证。本发明提供的跨脑融合关系计算的情感识别方法通过脑电设备采集多名用户的脑电数据，并对跨脑耦合关系特征进行提取，并在线计算细粒度具体情感的识别正确率，可显著提高情感识别正确率。