公开(公告)号：CN114974571B

公开(公告)日：2023-03-24

申请号：CN202210623471.2

申请日：2022-06-02

Applicant: 浙江大学医学院附属儿童医院

Inventor： 舒强 ,  徐佳露 ,  李晨曦 ,  阮雯聪 ,  李海峰 ,  肖俊

IPC: G16H50/20 ,  G06V40/70 ,  G06N3/084 ,  G06N3/0499

Abstract: 本发明公开了一种多模态数据驱动的孤独症检测系统、设备及存储介质，属于人工智能辅助医疗领域。该方法首先收集输入的多模态数据，主要包含问卷回答、脑部磁共振成像和日常生活视频；然后将得到的多模态数据分别通过文本特征提取模块、图像特征提取模块和视频特征提取模块进行特征抽取，初步得到表征孤独症相关的多模态特征；最后通过基于注意力机制的特征融合网络，进一步处理多模态特征，得到孤独症相关信息的综合特征，将其输入分类器来预测儿童患有孤独症的概率。本发明输入多模态特征，并利用注意力机制更好地融合各模态之间的信息，更准确地预测儿童是否患有孤独症。

公开(公告)号：CN114974571A

公开(公告)日：2022-08-30

申请号：CN202210623471.2

申请日：2022-06-02

Applicant: 浙江大学医学院附属儿童医院

Inventor： 舒强 ,  徐佳露 ,  李晨曦 ,  阮雯聪 ,  李海峰 ,  肖俊

IPC: G16H50/20 ,  G06V40/70 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明公开了一种多模态数据驱动的孤独症检测系统、设备及存储介质，属于人工智能辅助医疗领域。该方法首先收集输入的多模态数据，主要包含问卷回答、脑补磁共振成像和日常生活视频；然后将得到的多模态数据分别通过文本特征提取模块、图像特征提取模块和视频特征提取模块进行特征抽取，初步得到表征孤独症相关的多模态特征；最后通过基于注意力机制的特征融合网络，进一步处理多模态特征，得到孤独症相关信息的综合特征，将其输入分类器来预测儿童患有孤独症的概率。本发明输入多模态特征，并利用注意力机制更好地融合各模态之间的信息，更准确地预测儿童是否患有孤独症。