-
公开(公告)号：CN113674767A
公开(公告)日：2021-11-19
申请号：CN202111174280.4
申请日：2021-10-09
Applicant: 复旦大学
Abstract: 本发明提供一种基于多模态融合的抑郁状态识别方法，包括以下步骤：步骤S1，采集语音数据和人脸数据；步骤S2，对语音数据进行语音预处理；步骤S3，将预处理的语音数据通过阿里云接口转为语音文本，并对语音文本进行文本预处理；步骤S4，对人脸数据进行视频预处理；步骤S5，将预处理的语音数据映射到时频域上，得到二维矩阵；步骤S6，构建多模态融合神经网络模型，将二维矩阵、预处理的语音文本和视频数据共同输入到多模态融合神经网络模型，以被试者是否抑郁作为训练标签进行训练；步骤S7，将待测语音数据输入到完成训练的多模态融合神经网络模型得到对应的多个分类结果，再以投票法的方式选择类别更多的训练标签作为语音信号的最终分类结果。
-
公开(公告)号：CN113571050A
公开(公告)日：2021-10-29
申请号：CN202110855540.8
申请日：2021-07-28
Applicant: 复旦大学
Abstract: 本发明提供一种基于Attention与Bi‑LSTM的语音抑郁状态识别方法，使用融合注意力机制与双向LSTM的神经网络模型来对采集切分得到的语音信号片段进行分类，由于该神经网络中融合了双向LSTM网络，因此能够对语音信号中的时序特征进行提取，并且双向LSTM网络融合前向后向的信息，能够提取得到更为全面的特征，不仅如此，由于该神经网络中还融合了注意力机制，能通过自学习的方式调整其权重系数，重点观察语音的部分片段，因此能很好地解决因语音信号特征分布的稀疏性造成的问题。上述的两种方法相结合能进一步提高抑郁筛查的准确性和稳定性。
-
公开(公告)号：CN113555004A
公开(公告)日：2021-10-26
申请号：CN202110801507.7
申请日：2021-07-15
Applicant: 复旦大学
Abstract: 本发明提供一种基于特征选择与迁移学习的语音抑郁状态识别方法，针对基于语音进行建模时特征维度较高、特征分布受被试除抑郁水平外的个体差异影响两个问题，提出融合Lasso和迁移学习方法CORAL的语音抑郁状态识别方法。其优势在于1.Lasso过滤特征中的冗余信息，保留有效特征，在提升模型效率的基础上进一步提升识别精度；2.迁移学习方法CORAL在不泄漏抑郁标签信息的前提下，拉近训练集与测试集的特征分布，减小特征分布受抑郁水平外其他因素的影响。两种方法相结合能进一步提高抑郁筛查的准确性和稳定性。
-
-
Search Results
3
records
(took 0.02 seconds)
