公开(公告)号：CN118094217A

公开(公告)日：2024-05-28

申请号：CN202410062178.2

申请日：2024-01-16

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  刘栋军 ,  戴玮辰 ,  刘鸿刚 ,  仪航捷 ,  金宣妤

IPC: G06F18/214 ,  G06F18/241 ,  G06F18/213 ,  G06N3/0464 ,  G06N3/09 ,  G06V40/16

Abstract: 本发明公开一种基于脑机协同训练的半监督面部情绪识别方法，在有标签的图像上训练认知模型和分类模型，使用训练后的认知模型和分类模型预测无标签数据的伪标签，将预测一致的标签作为图像的伪标签。认知模型和分类模型在伪标签扩增后的训练集上更新训练，然后重新预测无标签图像，如此反复；将检测效果最佳的分类模型作为最终分类模型。将被测图像输入最终分类模型，最终分类模型输出被测图像中的对象的情绪类型。本发明通过交替训练认知模型和分类模型，相互验证预测结果获得更高质量的伪标签，防止单一模型过度拟合预测错误的伪标签数据，从而更充分地利用无标签图像数据。

公开(公告)号：CN117668545A

公开(公告)日：2024-03-08

申请号：CN202311625312.7

申请日：2023-11-30

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  刘栋军 ,  戴玮辰 ,  刘鸿刚 ,  仪航捷 ,  金宣妤

IPC: G06F18/214 ,  G06F18/241 ,  G06F18/213 ,  G06N3/0464 ,  G06N3/09 ,  G06V40/16

Abstract: 本发明公开一种基于脑机增强智能的半监督面部情绪识别方法。鉴于脑电信号包含大脑活动的情感信息和诱发其产生的视觉对象的视觉信息，本发明将其作为监督信息来实现面部情绪图像的标记，从而将大脑感知情绪的能力转移给机器。本发明将脑电信号的呈现方式从二维转变为三维，设计了EEGNet3D。其次，利用由视觉图像刺激诱发的脑电信号与脑电网络相结合，学习大脑活动的判别性脑电类表征流形。然后，通过训练视觉模型将图像投射到学习到的流形上，计算图像特征与脑电类表征之间的相似性分数来获取无标签图像的伪标签。最后，利用伪标签图像扩展训练集，训练分类模型。由此将大脑的情感判断的能力传递给机器，进而实现半监督面部情绪识别。

公开(公告)号：CN117636490A

公开(公告)日：2024-03-01

申请号：CN202311817342.8

申请日：2023-12-27

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  刘栋军 ,  戴玮辰 ,  刘鸿刚 ,  仪航捷 ,  金宣妤

IPC: G06V40/70 ,  G06V40/16 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/096 ,  G06N3/0464

Abstract: 本发明公开一种基于脑机知识蒸馏的面部表情识别方法。深度学习存在许多基本的未决问题。其中一个问题是大型模型的提出，它可以提高性能，但计算成本较高。第二个问题是，收集和标记大型数据集通常是一项成本高昂的工作。与机器不同的是，由于一般原理和认知过程，人脑可以从有限的样本中高效地获得情绪分类所需的信息。为了赋予机器人脑判断情绪的能力，使其具有接近人脑的情绪识别模式，本发明提供一种“基于脑机知识蒸馏的面部表情识别方法“，以提炼人脑知识并将其传递给机器。脑机知识蒸馏框架由教师模型和学生模型组成。教师模型从视觉图像刺激诱发的脑电信号中提炼知识。学生模型处理视觉图像，同时从教师模型中学习认知知识。