公开(公告)号：CN110941945A

公开(公告)日：2020-03-31

申请号：CN201911214094.1

申请日：2019-12-02

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 王毅 ,  白洁 ,  陈昌滨 ,  潘政林 ,  聂志朋 ,  高占杰

IPC: G06F40/126 ,  G06F40/284

Abstract: 本申请公开了语言模型预训练方法和装置。该方法的一具体实施方式包括：获取初始语言模型，初始语言模型用于确定输入到初始语言模型的文本数据中包含的字之间的关联关系；获取训练初始语言模型的训练样本集，训练样本集中的训练样本包括样本数据、第一标注信息和第二标注信息；将样本数据作为输入，将第一标注信息作为与初始语言模型的第一输出端连接的初始去噪自编码模型的期望输出，并将第二标注信息作为与初始语言模型的第二输出端连接的初始序列到序列模型的期望输出，对初始语言模型、初始去噪自编码模型和初始序列到序列模型进行预训练，得到训练后的语言模型。该实施方式可以显示捕获文本的音韵信息，有效提升了语言模型输出文本的语义表示效果。

公开(公告)号：CN111061868B

公开(公告)日：2023-05-23

申请号：CN201911069834.7

申请日：2019-11-05

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 白洁 ,  王毅 ,  潘政林 ,  陈昌滨 ,  聂志朋 ,  高占杰

IPC: G06F16/35 ,  G06F18/2411 ,  G06F18/214

Abstract: 本申请公开了读法预测模型获取及读法预测方法、装置及存储介质，涉及深度学习领域，其中的读法预测模型获取方法可包括：利用第一训练样本集训练得到语言模型，语言模型中至少包含两层多头注意力层；利用语言模型及分类器构成读法预测模型，并利用第二训练样本集训练读法预测模型，以便针对待预测的输入文本，预测出其中的预定类型字符的读法分类。应用本申请所述方案，可提升预测结果的准确性等。

公开(公告)号：CN110941945B

公开(公告)日：2021-03-23

申请号：CN201911214094.1

申请日：2019-12-02

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 王毅 ,  白洁 ,  陈昌滨 ,  潘政林 ,  聂志朋 ,  高占杰

IPC: G06F40/126 ,  G06F40/284

Abstract: 本申请公开了语言模型预训练方法和装置。该方法的一具体实施方式包括：获取初始语言模型，初始语言模型用于确定输入到初始语言模型的文本数据中包含的字之间的关联关系；获取训练初始语言模型的训练样本集，训练样本集中的训练样本包括样本数据、第一标注信息和第二标注信息；将样本数据作为输入，将第一标注信息作为与初始语言模型的第一输出端连接的初始去噪自编码模型的期望输出，并将第二标注信息作为与初始语言模型的第二输出端连接的初始序列到序列模型的期望输出，对初始语言模型、初始去噪自编码模型和初始序列到序列模型进行预训练，得到训练后的语言模型。该实施方式可以显示捕获文本的音韵信息，有效提升了语言模型输出文本的语义表示效果。

公开(公告)号：CN111061868A

公开(公告)日：2020-04-24

申请号：CN201911069834.7

申请日：2019-11-05

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 白洁 ,  王毅 ,  潘政林 ,  陈昌滨 ,  聂志朋 ,  高占杰

IPC: G06F16/35 ,  G06K9/62

Abstract: 本申请公开了读法预测模型获取及读法预测方法、装置及存储介质，涉及深度学习领域，其中的读法预测模型获取方法可包括：利用第一训练样本集训练得到语言模型，语言模型中至少包含两层多头注意力层；利用语言模型及分类器构成读法预测模型，并利用第二训练样本集训练读法预测模型，以便针对待预测的输入文本，预测出其中的预定类型字符的读法分类。应用本申请所述方案，可提升预测结果的准确性等。