公开(公告)号：CN111402928A

公开(公告)日：2020-07-10

申请号：CN202010143924.2

申请日：2020-03-04

Applicant: 华南理工大学

Inventor： 李淑贞 ,  邢晓芬 ,  徐向民 ,  郭锴凌

IPC: G10L25/63 ,  G10L25/30 ,  G10L25/03

Abstract: 本发明提供了一种基于注意力的语音情绪状态评估方法、装置、介质及设备。其中方法包括如下步骤：S1、搭建语音情绪状态评估模型：采用四层卷积层搭建基础骨架；每层卷积层紧接着批归一化层、RELU激活函数和平均池化操作；在第三层卷积层后接上时空注意力模块；在第四层卷积层后接上频率注意力模块；最后接上softmax层；S2、输入语音情绪数据库对语音情绪状态评估模型进行训练和测试；S3、将待评估的音频数据进行处理获取语谱图，并输入到语音情绪状态评估模型以评估出情绪状态。本发明采用轻量级的新型注意力机制，时空注意力与频率注意力相互配合，快狠准地从一段冗长的音频里提取情绪特征，有效提高情绪状态评估模型的效果和性能。

公开(公告)号：CN119782904A

公开(公告)日：2025-04-08

申请号：CN202411859048.8

申请日：2024-12-17

Applicant: 人工智能与数字经济广东省实验室(广州) ,  华南理工大学

Inventor： 张通 ,  李淑贞 ,  陈俊龙

IPC: G06F18/241 ,  G06F18/25 ,  G06F18/214 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/0895 ,  G06N3/096

Abstract: 本发明涉及多模态学习，半监督学习和情感计算技术领域，具体是一种基于循环数据蒸馏的多模态半监督学习方法及装置。该方法及装置利用多个单模态预训练模型，通过置信度增强伪标签模块，从大量无标签数据蒸馏出可靠、具类别代表性的数据来训练多模态情感识别模型，并提供性能反馈继而更新所有单模态模型。它以循环互利的方式联合训练多模态情感识别模型和单模态模型，最终获得有效的多模态情感识别模型。

公开(公告)号：CN111402928B

公开(公告)日：2022-06-14

申请号：CN202010143924.2

申请日：2020-03-04

Applicant: 华南理工大学

Inventor： 李淑贞 ,  邢晓芬 ,  徐向民 ,  郭锴凌

IPC: G10L25/63 ,  G10L25/30 ,  G10L25/03

Abstract: 本发明提供了一种基于注意力的语音情绪状态评估方法、装置、介质及设备。其中方法包括如下步骤：S1、搭建语音情绪状态评估模型：采用四层卷积层搭建基础骨架；每层卷积层紧接着批归一化层、RELU激活函数和平均池化操作；在第三层卷积层后接上时空注意力模块；在第四层卷积层后接上频率注意力模块；最后接上softmax层；S2、输入语音情绪数据库对语音情绪状态评估模型进行训练和测试；S3、将待评估的音频数据进行处理获取语谱图，并输入到语音情绪状态评估模型以评估出情绪状态。本发明采用轻量级的新型注意力机制，时空注意力与频率注意力相互配合，快狠准地从一段冗长的音频里提取情绪特征，有效提高情绪状态评估模型的效果和性能。

公开(公告)号：CN113052306B

公开(公告)日：2022-04-22

申请号：CN202110238045.2

申请日：2021-03-04

Applicant: 华南理工大学

Inventor： 陈俊龙 ,  李淑贞 ,  张通

IPC: G06N3/063 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种基于堆叠式宽度学习模型的在线学习芯片，包括主控制器、存储器和可重构处理单元阵列；其运行方式是：主控制器读取控制码，控制配置信息存储器向可重构处理单元阵列输出初始化的配置信息；可重构处理单元阵列根据初始化的配置信息将各个特征节点和增强节点一对一配置到处理单元；输入存储器将识别训练样本特征输入到模型电路中；将处理结果输出到输出存储器，之后将性能值信息反馈回主控制器；判断计算所得的性能值大小,以更新配置信息存储器中的宽度配置信息或深度配置信息；当计算所得的性能值≥设定的性能阈值时，在线学习停止，在线学习芯片固化。该芯片可计算资源低，功耗低，实时性强，具有在线学习能力。

公开(公告)号：CN113052306A

公开(公告)日：2021-06-29

申请号：CN202110238045.2

申请日：2021-03-04

Applicant: 华南理工大学

Inventor： 陈俊龙 ,  李淑贞 ,  张通

IPC: G06N3/063 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种基于堆叠式宽度学习模型的在线学习芯片，包括主控制器、存储器和可重构处理单元阵列；其运行方式是：主控制器读取控制码，控制配置信息存储器向可重构处理单元阵列输出初始化的配置信息；可重构处理单元阵列根据初始化的配置信息将各个特征节点和增强节点一对一配置到处理单元；输入存储器将识别训练样本特征输入到模型电路中；将处理结果输出到输出存储器，之后将性能值信息反馈回主控制器；判断计算所得的性能值大小,以更新配置信息存储器中的宽度配置信息或深度配置信息；当计算所得的性能值≥设定的性能阈值时，在线学习停止，在线学习芯片固化。该芯片可计算资源低，功耗低，实时性强，具有在线学习能力。