公开(公告)号：CN119918616A

公开(公告)日：2025-05-02

申请号：CN202411912148.2

申请日：2024-12-24

Applicant: 电子科技大学

Inventor： 黄伟 ,  李靖鹏 ,  秦帆 ,  李恒江 ,  王斯卓 ,  杨鹏飞 ,  陈华富

IPC: G06N3/096 ,  A61B5/055 ,  G06N3/0455 ,  G06N3/044 ,  G06N3/0475 ,  G06F3/01 ,  G06F18/25 ,  G06F18/213 ,  G06V10/44 ,  G06F40/284 ,  G06N3/0442 ,  G06N3/084 ,  G06N3/0985

Abstract: 本发明公开了一种基于GPT的渐进迁移训练解码方法，属于视觉神经解码领域。本发明基于被试观看大量视觉感知图像时记录下的功能磁共振信号数据构建了基于GPT的类别和文本解码模型，其包括：图像编码器，用于将采用预训练模型提取的图像特征向量嵌入到隐特征空间：文本编码器，将包含任务信息的Prompt和位置编码嵌入到隐特征空间；视觉信息编码器，使用GRU将大脑视觉区域体素信号映射到隐特征空间；全脑信息编码器，根据大脑视觉区域体素信号作为上下文，指导大脑其他区域的体素信号的选取，并将全局信息映射到隐特征空间；语言生成器，融合以上所有的隐特征并选取概率最高的Token以进行对应内容的文本生成。本发明提高了解码准确率，增强了模型的泛化能力。

公开(公告)号：CN118427767A

公开(公告)日：2024-08-02

申请号：CN202410145024.X

申请日：2024-02-01

Applicant: 电子科技大学

Inventor： 黄伟 ,  吴狄蔚 ,  杨鹏飞 ,  李恒江 ,  赵宇浩 ,  唐颖 ,  泰帆 ,  王斯卓 ,  王京 ,  颜红梅 ,  陈华富

IPC: G06F18/25 ,  G06F40/284 ,  G06F40/205 ,  G06N3/0442 ,  G06F17/16 ,  G06F18/214

Abstract: 本发明公开了一种基于GPT的多任务视觉感知解码方法，属于生物医学图像脑解码中的语言解码技术领域。本发明基于观看大量视觉感知图像下的功能磁共振信号数据建立基于GPT模型的语言解码模型，其包括：Prompt嵌入模块，将包含任务信息的Prompt嵌入到隐特征空间；视觉编码模块，使用GRU将视觉相关区域体素信号编码到隐特征空间；网络编码模块，将视觉相关区域体素信号作为上下文，指导大脑所有其他区域的体素信号的选取，并将全局信息编码到隐特征空间；语言生成模块，融合隐特征并识别隐特征以进行对应内容的文本生成。本发明解决了在一个解码模型中无法进行多个解码任务的问题，并引入了大脑的有效全局信息，可以实现多任务语言生成式脑机接口场景的实际应用。

公开(公告)号：CN116756628A

公开(公告)日：2023-09-15

申请号：CN202310572811.8

申请日：2023-05-18

Applicant: 电子科技大学长三角研究院(湖州)

Inventor： 颜红梅 ,  王玉婷 ,  唐颖 ,  王斯卓

IPC: G06F18/241 ,  G06F18/25 ,  G06F18/214 ,  G06N3/0442 ,  G06N3/0464

Abstract: 本发明提供了一种膨胀长短时记忆网络的动态脑信息解码的分类方法，针对当前视觉分类解码中缺少对时间信息充分使用的缺点，以及动态视频和BOLD信号具有时间变化性和内容复杂性的特点，为充分利用时间信息，使用了不同系数的膨胀卷积提取多尺度的信息；为更好的利用视觉皮层信息积累和整合的特点，对多尺度的时间信息进行整合；为充分学习时间序列间的关系，使用循环神经网络中LSTM(长短时记忆神经网络)学习时间序列的相关性；本发明在多种方法的比较下获得较好的解码性能，并且在公开的15类fMRI数据集上也取得了良好效果。本发明对于由动态视频诱发的大脑信息的类别解码提供了一个良好的方法。