公开(公告)号：CN119884827A

公开(公告)日：2025-04-25

申请号：CN202411992425.5

申请日：2024-12-31

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 张治国 ,  张驰 ,  宋贞羲

IPC: G06F18/24 ,  G06F18/10 ,  G06F18/213 ,  G06F18/2131 ,  G06N3/0455 ,  G06N3/092 ,  G06N3/047 ,  G06N3/048 ,  G06N3/049 ,  G06N3/0464 ,  G06F18/23 ,  G06N3/084 ,  G06N3/0895 ,  G06F16/353 ,  G06F40/284

Abstract: 本发明公开一种阅读诱发脑电的强化学习情感分析方法及装置，涉及自然语言理解和认知神经科学技术领域。方法包括：基于阅读眼动信息获取与文本分词对应的诱发脑电片段；以完整语义句子为单位输入脑电片段至脑电分词器、量化器与编码器，通过自监督重建范式预训练上述模块；利用量化器离散的脑电向量激活智能体，筛选关键脑电向量集合，基于该集合推断情感分类；构造强化脑电向量集合类、多样性、表征性的奖励函数，优化智能体的选择策略。采用本发明，可以为自然阅读脑机接口的情感识别提供一种新范式。

公开(公告)号：CN119884345A

公开(公告)日：2025-04-25

申请号：CN202411992429.3

申请日：2024-12-31

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 张驰 ,  宋贞羲 ,  张治国

IPC: G06F16/334 ,  G06N3/0455 ,  G06N3/0895 ,  G06F18/213 ,  G06F18/24

Abstract: 本发明公开一种基于语义对齐与句子检索的脑电文本解码方法及装置，涉及自然语言理解和认知神经科学技术领域。方法包括：将脑电信号训练数据输入初始的脑电信号编码模型，将文本真值输入BERT模型，进而计算对比学习损失函数；将预测脑电信号编码特征输入初始的分类器，计算分类损失函数；结合对比学习损失函数与分类损失函数，对初始的脑电信号编码模型和初始的分类器进行训练；将待生成脑电信号输入到训练好的脑电信号编码模型，将编码特征输入分类器，将单词预测概率输入波束搜索模块，得到关键词集合，根据AhoCorasick算法在语料库中检索出与关键词集合相似度最高的文本语句。采用本发明，可以实现高效、准确的脑电文本生成。

公开(公告)号：CN119626526A

公开(公告)日：2025-03-14

申请号：CN202411243396.2

申请日：2024-09-05

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 薛俊琦 ,  张圳威 ,  王建红 ,  位照国 ,  杨孔军 ,  吉萍 ,  张治国

IPC: G16H50/30 ,  G16H50/70 ,  G16H10/60 ,  G06V20/40 ,  G06V40/16 ,  G10L25/66 ,  G10L25/30 ,  G10L15/16 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/088 ,  G06F40/284 ,  G06F18/25 ,  G06F18/213

Abstract: 本申请公开了一种基于多模态数据的抑郁症筛查方法、装置及设备，所述方法包括通过所述视频分支提取所述视频数据对应的视频特征，通过所述音频分支提取所述音频数据对应的音频特征，通过所述文本分支提取所述文本数据对应的文本特征，然后通过所述融合模块中的交叉注意力机制将视频特征、音频特征和文本特征进行融合以得到融合特征，最后通过所述预测模块根据融合特征确定所述待筛查数据的抑郁量表得分。这样通过交叉注意力机制将视频特征、音频特征和文本特征进行融合，可以增加融合特征所携带的知识信息，并且还可以关注视频特征、音频特征和文本特征中的冗余特征，从而可以提高抑郁症筛查模型的筛查准确性，进而可以提高多模态自动抑郁症筛查的效率和准确率。