-
公开(公告)号：CN117789708A
公开(公告)日：2024-03-29
申请号：CN202311662923.9
申请日：2023-11-30
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提供了一种语音识别、编码方法和相关装置，通过预训练的语音识别模型中的编码器对待识别语音特征向量进行编码，得到编码特征向量，通过语音识别模型中的解码器对编码特征向量进行解码，得到待识别语音特征向量对应的语音识别结果。由此可见，本申请会在对待识别语音特征向量进行编码的过程中对编码层中的多个注意力头的权重进行修正，以使得具有正向激励作用的注意力头的修正后权重大于具有负向激励作用的注意力头的修正后权重，由此可以削弱具有负向激励作用的注意力头在编码过程中的负向激励作用，因此基于各个注意力头的修正后权重进行编码，使得到的编码特征向量更准确，提高了语音识别的准确度。
-
公开(公告)号：CN119721297A
公开(公告)日：2025-03-28
申请号：CN202411951357.8
申请日：2024-12-27
Applicant: 科大讯飞股份有限公司
Abstract: 本发明提供一种语言模型训练方法、语言任务处理方法及系统，其中方法包括：根据样本语言数据和样本语言数据对应的样本语言任务的标注标签，获取大语言模型在当前周期的当前模型参数矩阵对应的原始增量矩阵；根据原始增量矩阵中各子矩阵的数据分布特征，对原始增量矩阵进行降秩处理，得到当前模型参数矩阵对应的目标增量矩阵；根据目标增量矩阵，对当前模型参数矩阵进行更新，根据更新结果，构建样本语言任务对应的目标语言模型。本发明实现依据原始增量矩阵中的各子矩阵的数据分布特征分解形成多个低秩矩阵来近似原始增量矩阵，进而实现语言模型的微调训练，可保持语言任务处理的高精度的同时，显著减少计算资源和数据存储需求。
-
Search Results
2
records
(took 0.02 seconds)
