公开(公告)号：CN119626526A

公开(公告)日：2025-03-14

申请号：CN202411243396.2

申请日：2024-09-05

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 薛俊琦 ,  张圳威 ,  王建红 ,  位照国 ,  杨孔军 ,  吉萍 ,  张治国

IPC: G16H50/30 ,  G16H50/70 ,  G16H10/60 ,  G06V20/40 ,  G06V40/16 ,  G10L25/66 ,  G10L25/30 ,  G10L15/16 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/088 ,  G06F40/284 ,  G06F18/25 ,  G06F18/213

Abstract: 本申请公开了一种基于多模态数据的抑郁症筛查方法、装置及设备，所述方法包括通过所述视频分支提取所述视频数据对应的视频特征，通过所述音频分支提取所述音频数据对应的音频特征，通过所述文本分支提取所述文本数据对应的文本特征，然后通过所述融合模块中的交叉注意力机制将视频特征、音频特征和文本特征进行融合以得到融合特征，最后通过所述预测模块根据融合特征确定所述待筛查数据的抑郁量表得分。这样通过交叉注意力机制将视频特征、音频特征和文本特征进行融合，可以增加融合特征所携带的知识信息，并且还可以关注视频特征、音频特征和文本特征中的冗余特征，从而可以提高抑郁症筛查模型的筛查准确性，进而可以提高多模态自动抑郁症筛查的效率和准确率。