公开(公告)号：CN115456114A

公开(公告)日：2022-12-09

申请号：CN202211376381.4

申请日：2022-11-04

Applicant: 之江实验室

Inventor： 李太豪 ,  岳鹏程 ,  屈乐园 ,  郑书凯

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G10L25/27 ,  G10L25/63

Abstract: 本说明书公开了一种模型训练和业务执行的方法、装置、介质及设备。该模型训练的方法包括：获取用户在历史上的语音对话数据并输入待训练的识别模型，通过识别模型的特征提取层，确定语音对话数据对应的数据特征，以及确定所述语音对话数据对应的情感强度，作为预测情感强度，和语音对话数据对应的情感类别，作为预测情感类别，根据预测情感强度和语音对话数据对应的实际情感强度之间的偏差，以及预测情感类别和语音对话数据对应的实际情感类别之间的偏差，确定识别模型的综合损失值，以最小化该综合损失值为优化目标，对识别模型进行训练。

公开(公告)号：CN117316189A

公开(公告)日：2023-12-29

申请号：CN202311332476.0

申请日：2023-10-13

Applicant: 之江实验室

Inventor： 李太豪 ,  黄宇鑫 ,  屈乐园

IPC: G10L25/63 ,  G10L25/30 ,  G10L25/03 ,  G10L15/22 ,  G10L15/02 ,  G10L17/02

Abstract: 本说明书提供的一种基于语音情感识别的业务执行方法及装置，将获取到的样本音频数据输入到过渡模型中包含的情感提取层、语义提取层以及声纹提取层，以从样本音频数据中相应地提取出情感特征、语义特征及声纹特征。将情感特征、语义特征和声纹特征输入过渡模型的编码层，得到编码特征。将该编码特征输入到过渡模型的解码层，得到预测频谱特征。以最小化预测频谱特征与样本音频数据的频谱特征标签之间的偏差为优化目标，至少对过渡模型中包含的情感提取层进行训练。通过训练后的过渡模型中的情感提取层以及预设的情感类型分类器，构建语音情感识别模型，以通过该语音情感识别模型对用户的语音进行情感识别，并根据情感识别结果执行目标业务。