本公开提供了一种语言模型的训练方法、装置、介质及设备，涉及人工智能技术领域，尤其涉及自然语言处理领域。实现方案为：获取样本文本和相应的样本标签；基于样本文本，获取第一分词序列和第二分词序列；将第一分词序列的多个分词输入到第一子模型中，以获得第一预测结果；将第二分词序列的多个分词输入到第二子模型中，以获得第二预测结果；基于第一预测结果和第二预测结果，计算第一损失函数；基于第一预测结果、第二预测结果和该样本数据相应的样本标签，计算第二损失函数；以及基于第一损失函数和第二损失函数，调整初始语言模型的至少一个参数，以获得语言模型。