公开(公告)号：CN119919510A

公开(公告)日：2025-05-02

申请号：CN202510405346.8

申请日：2025-04-02

Applicant: 广州大学

Inventor： 林肇隆 ,  张立汉 ,  伍冯洁 ,  刘葵 ,  冯志毅 ,  于忠生 ,  任卓斌 ,  陈博华 ,  郑屹超

IPC: G06T9/00 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0895 ,  G06V10/40 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种EEG视觉刺激混合模态解码方法及系统，该方法包括下述步骤：获取EEG数据，构建图像‑类别‑语义的三态EEG数据集；混合模态编码器从EEG数据中学习得到对应的图像、类别、语义模态信息；将三态EEG数据集映射到相对应的CLIP空间，获得目标模态；将混合模态编码器输出的模态信息与目标模态进行对比学习，基于图像模态信息进行图像的检索和分类任务；构建扩散先验模型，将混合模态编码器输出的图像、类别、语义模态信息与目标模态在CLIP空间中对齐，输出经扩散先验处理的图像、类别、语义模态信息，并输入预训练的图像生成模型进行生成任务。本发明能有效解码脑数据的多种模态，提高检索与重建任务效果。