一种语音识别模型的训练方法、语音识别方法和相关装置

    公开(公告)号:CN117894301A

    公开(公告)日:2024-04-16

    申请号:CN202311870858.9

    申请日:2023-12-29

    Abstract: 本申请公开了一种语音识别模型的训练方法、语音识别方法和相关装置,该方法包括:利用语音识别模型对第一样本语音特征进行多次编码处理,得到第一样本语音编码特征,其中,至少一次编码处理作为目标编码处理,目标编码处理得到的编码特征作为样本目标特征,目标编码处理的输出特征为基于目标编码处理对应的样本分类特征得到,样本分类特征是对样本目标特征进行对应的目标建模单元的分类预测得到,对第一样本语音编码特征进行解码,得到第一样本语音对应的第一样本识别文本;基于第一样本识别文本和样本分类特征,调整语音识别模型的模型参数,能够提升语音识别模型的训练效率。

    多模态通用模型的预训练方法、语音识别方法及相关装置

    公开(公告)号:CN117953874A

    公开(公告)日:2024-04-30

    申请号:CN202311867273.1

    申请日:2023-12-29

    Abstract: 本申请提出一种多模态通用模型的预训练方法、语音识别方法及相关装置,能够基于不同模态的数据对多模态通用模型进行训练,提升多模态通用模型对具有多模态输入的下游任务的通用性,并且通过以拉近同源数据组中各数据对应的数据特征的距离为目标,对多模态通用模型的参数进行调整,能够使多模态通用模型对不同模态但描述相同或相近内容的数据进行相同的理解,进而提高对具有多模态输入的下游任务的预测结果的准确性,提升多模态通用模型针对具有多模态输入的下游任务的解决能力。

Patent Agency Ranking