-
公开(公告)号:CN112259126A
公开(公告)日:2021-01-22
申请号:CN202011016520.3
申请日:2020-09-24
Applicant: 广州大学
Abstract: 本发明公开了一种自闭症语音特征辅助识别机器人及方法,所述机器人包括:自闭症语音特征识别模型构建及训练单元,利用长短记忆神经网络和卷积神经网络构建自闭症语音特征识别模型,以量化的语音特征作为传感信号输入模型,对语音特征在传感信号的表现特征进行学习,并利用反向传播法对所述模型进行训练,实现分类器在网络权重的优化,最终获得可用于语音信号识别的自闭症语音特征识别模型;语音采集单元,采集机器人与被测者互动过程中被测者的语音信息;语音信息预处理单元,用于将采集的语音信息进行预处理,将语音特征量化为M维的语音特征向量;语音特征识别单元,利用训练好的模型,对经预处理后的语音信号进行语音特征识别。
-
公开(公告)号:CN112259126B
公开(公告)日:2023-06-20
申请号:CN202011016520.3
申请日:2020-09-24
Applicant: 广州大学
IPC: G10L25/66 , G10L25/63 , G10L25/30 , G06N3/0442 , G06N3/0464 , G06N3/049 , G06N3/084 , A61B5/00
Abstract: 本发明公开了一种自闭症语音特征辅助识别机器人及方法,所述机器人包括:自闭症语音特征识别模型构建及训练单元,利用长短记忆神经网络和卷积神经网络构建自闭症语音特征识别模型,以量化的语音特征作为传感信号输入模型,对语音特征在传感信号的表现特征进行学习,并利用反向传播法对所述模型进行训练,实现分类器在网络权重的优化,最终获得可用于语音信号识别的自闭症语音特征识别模型;语音采集单元,采集机器人与被测者互动过程中被测者的语音信息;语音信息预处理单元,用于将采集的语音信息进行预处理,将语音特征量化为M维的语音特征向量;语音特征识别单元,利用训练好的模型,对经预处理后的语音信号进行语音特征识别。
-
公开(公告)号:CN114582372A
公开(公告)日:2022-06-03
申请号:CN202210211060.2
申请日:2022-03-03
Applicant: 广州大学
Abstract: 本发明涉及多模态识别领域,具体为一种用于驾驶员情绪判断的多模态情感特征识别方法及系统,其核心的方法在于,通过识别模块对上述信息进行识别,其中包括对上述视觉信息及语音信息进行数据预处理,分别形成视觉识别信息和语音识别信息;将上述视觉识别信息和语音识别信息分别输入视觉下人脸表情特征识别模型和语音情感特征识别模型,分别得到视觉特征向量和语音特征向量,将视觉特征向量和语音特征向量输入双模态情感特征识别模型,获得决策级融合的情感识别结果。该方法有效解决传统算法中多模态特征的代表性不足和融合算法冗长的技术问题。
-
-