一种基于语音调制和脑电信号的言语认知评估系统

    公开(公告)号:CN116269447B

    公开(公告)日:2023-08-29

    申请号:CN202310552371.X

    申请日:2023-05-17

    申请人: 之江实验室

    摘要: 本发明公开了一种基于语音调制和脑电信号的言语认知评估系统,包括:语音序列生成模块,选择结构化语音材料并将其合成为语音序列,对语音序列进行调制得到若干种调制语音序列;结构化语音材料中的词汇按预设的频率呈现,每一种调制语音序列间的词汇节奏相位相同、声学节奏相位不同;脑电信号采集模块,使用音频输入设备向被测试者呈现所有调制语音序列,使用脑电记录设备同步采集被测试者的脑电信号;脑电信号分析模块,对脑电信号进行处理得到脑电响应频谱,分别提取所有调制语音序列对应的脑电响应频谱在词汇频率处的脑电响应相位;言语认知评估结果获取模块,计算不同种调制语音序列对应的脑电响应相位之差,判定言语认知评估结果。

    一种基于神经主题模型的疾病检测与知识发现装置

    公开(公告)号:CN116206755A

    公开(公告)日:2023-06-02

    申请号:CN202310501896.0

    申请日:2023-05-06

    申请人: 之江实验室

    发明人: 孙周健 罗城 丁鼐

    摘要: 本发明公开了一种基于神经主题模型的疾病检测与知识发现装置,由预处理模块对数据进行预处理,将每个入院记录重建为半结构化文本数据集,并作为训练数据;然后将训练数据输入患者画像分析模块,优化参数,得到患者典型画像信息及可以提取患者画像分布表征的模型;再将患者画像分布表征作为训练数据训练分类模块,得到辅助诊断模型。本发明可基于患者入院记录文本提取可解释文本表征并完成高性能分类,同时完成辅助诊断任务与辅助知识发现任务,利用目前难以被充分使用的医疗文本信息辅助完成临床决策支持任务。

    一种基于类脑注意机制优化机器阅读理解能力的方法

    公开(公告)号:CN114861643A

    公开(公告)日:2022-08-05

    申请号:CN202210364206.7

    申请日:2022-04-07

    申请人: 之江实验室

    摘要: 本发明公开了一种基于类脑注意机制优化机器阅读理解能力的方法,该方法通过认知科学实验采集阅读眼动数据,以注视时长作为指标,量化人脑的阅读注意分布;提取自下而上的文本特征、视觉特征和自上而下的问题相关特征,采用线性回归方法拟合人脑阅读注意分布;最后通过最大化模型准确率和最小化注意力模型输出层单词注意权重与人脑单词注意分布估计值的交叉熵损失函数,利用反向传播更新阅读理解模型参数得到最优模型注意机制。本发明既有效提升了机器阅读理解任务的准确性,又可以用于解释模型阅读理解行为,为机器阅读理解系统进一步优化提供基础。

    一种基于神经主题模型的疾病检测与知识发现装置

    公开(公告)号:CN116206755B

    公开(公告)日:2023-08-22

    申请号:CN202310501896.0

    申请日:2023-05-06

    申请人: 之江实验室

    发明人: 孙周健 罗城 丁鼐

    摘要: 本发明公开了一种基于神经主题模型的疾病检测与知识发现装置,由预处理模块对数据进行预处理,将每个入院记录重建为半结构化文本数据集,并作为训练数据;然后将训练数据输入患者画像分析模块,优化参数,得到患者典型画像信息及可以提取患者画像分布表征的模型;再将患者画像分布表征作为训练数据训练分类模块,得到辅助诊断模型。本发明可基于患者入院记录文本提取可解释文本表征并完成高性能分类,同时完成辅助诊断任务与辅助知识发现任务,利用目前难以被充分使用的医疗文本信息辅助完成临床决策支持任务。

    基于情绪视听刺激和面部表情的意识状态检测系统、设备

    公开(公告)号:CN115439920B

    公开(公告)日:2023-03-24

    申请号:CN202211366999.2

    申请日:2022-11-03

    申请人: 之江实验室

    摘要: 本发明公开了一种基于情绪视听刺激和面部表情的意识状态检测系统、设备,所述系统包括:情绪素材库模块,存储样本情绪视频;情绪类型与面部表情特征集处理模块,处理用户观看情绪素材库中每种情绪类型下的每个样本情绪视频时产生的面部表情特征与对应的情绪类型,获取面部表情特征数据集;标准情绪素材库模块,存储标准样本情绪视频;所述标准样本情绪视频通过对情绪素材库模块中的样本情绪视频筛选得到;意识状态检测模块,基于标准样本情绪视频对待测者观看标准情绪素材库而产生的面部表情特征进行检测,获得意识状态标签。本发明基于情绪视听刺激诱导用户产生自发的面部表情特征,实现了客观、便利且准确地检测用户的意识状态。

    一种基于语音调制和脑电信号的言语认知评估系统

    公开(公告)号:CN116269447A

    公开(公告)日:2023-06-23

    申请号:CN202310552371.X

    申请日:2023-05-17

    申请人: 之江实验室

    摘要: 本发明公开了一种基于语音调制和脑电信号的言语认知评估系统,包括:语音序列生成模块,选择结构化语音材料并将其合成为语音序列,对语音序列进行调制得到若干种调制语音序列;结构化语音材料中的词汇按预设的频率呈现,每一种调制语音序列间的词汇节奏相位相同、声学节奏相位不同;脑电信号采集模块,使用音频输入设备向被测试者呈现所有调制语音序列,使用脑电记录设备同步采集被测试者的脑电信号;脑电信号分析模块,对脑电信号进行处理得到脑电响应频谱,分别提取所有调制语音序列对应的脑电响应频谱在词汇频率处的脑电响应相位;言语认知评估结果获取模块,计算不同种调制语音序列对应的脑电响应相位之差,判定言语认知评估结果。

    基于情绪视听刺激和面部表情的意识状态检测系统、设备

    公开(公告)号:CN115439920A

    公开(公告)日:2022-12-06

    申请号:CN202211366999.2

    申请日:2022-11-03

    申请人: 之江实验室

    摘要: 本发明公开了一种基于情绪视听刺激和面部表情的意识状态检测系统、设备,所述系统包括:情绪素材库模块,存储样本情绪视频;情绪类型与面部表情特征集处理模块,处理用户观看情绪素材库中每种情绪类型下的每个样本情绪视频时产生的面部表情特征与对应的情绪类型,获取面部表情特征数据集;标准情绪素材库模块,存储标准样本情绪视频;所述标准样本情绪视频通过对情绪素材库模块中的样本情绪视频筛选得到;意识状态检测模块,基于标准样本情绪视频对待测者观看标准情绪素材库而产生的面部表情特征进行检测,获得意识状态标签。本发明基于情绪视听刺激诱导用户产生自发的面部表情特征,实现了客观、便利且准确地检测用户的意识状态。