公开(公告)号：CN110782871A

公开(公告)日：2020-02-11

申请号：CN201911046827.5

申请日：2019-10-30

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 聂志朋 ,  卞衍尧 ,  高占杰 ,  陈昌滨

IPC: G10L13/08 ,  G10L13/10 ,  G10L15/14 ,  G10L15/18 ,  G10L25/12

Abstract: 本申请公开了一种韵律停顿预测方法、装置以及电子设备，涉及机器学习技术领域。具体实现方案为：基于已训练的嵌入层对待测文本序列进行映射，得到第一矩阵，其中，待测文本序列包括待测输入文本以及待测发音人的身份标识；将所述第一矩阵输入已训练的注意力模型中，基于所述已训练的注意力模型确定语义表示矩阵；基于所述语义表示矩阵进行韵律停顿预测，输出所述待测文本序列中每个文字的韵律停顿预测结果。

公开(公告)号：CN111061868B

公开(公告)日：2023-05-23

申请号：CN201911069834.7

申请日：2019-11-05

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 白洁 ,  王毅 ,  潘政林 ,  陈昌滨 ,  聂志朋 ,  高占杰

IPC: G06F16/35 ,  G06F18/2411 ,  G06F18/214

Abstract: 本申请公开了读法预测模型获取及读法预测方法、装置及存储介质，涉及深度学习领域，其中的读法预测模型获取方法可包括：利用第一训练样本集训练得到语言模型，语言模型中至少包含两层多头注意力层；利用语言模型及分类器构成读法预测模型，并利用第二训练样本集训练读法预测模型，以便针对待预测的输入文本，预测出其中的预定类型字符的读法分类。应用本申请所述方案，可提升预测结果的准确性等。

公开(公告)号：CN110941945B

公开(公告)日：2021-03-23

申请号：CN201911214094.1

申请日：2019-12-02

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 王毅 ,  白洁 ,  陈昌滨 ,  潘政林 ,  聂志朋 ,  高占杰

IPC: G06F40/126 ,  G06F40/284

Abstract: 本申请公开了语言模型预训练方法和装置。该方法的一具体实施方式包括：获取初始语言模型，初始语言模型用于确定输入到初始语言模型的文本数据中包含的字之间的关联关系；获取训练初始语言模型的训练样本集，训练样本集中的训练样本包括样本数据、第一标注信息和第二标注信息；将样本数据作为输入，将第一标注信息作为与初始语言模型的第一输出端连接的初始去噪自编码模型的期望输出，并将第二标注信息作为与初始语言模型的第二输出端连接的初始序列到序列模型的期望输出，对初始语言模型、初始去噪自编码模型和初始序列到序列模型进行预训练，得到训练后的语言模型。该实施方式可以显示捕获文本的音韵信息，有效提升了语言模型输出文本的语义表示效果。

公开(公告)号：CN110782883B

公开(公告)日：2020-10-20

申请号：CN201911100649.X

申请日：2019-11-12

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 潘政林 ,  聂志朋 ,  白洁

IPC: G10L15/06

Abstract: 本申请公开了一种模型训练方法、装置、电子设备及存储介质，涉及模型训练领域。具体实现方案为：在第一阶段的微调训练中，将各个第一样本类型的训练样本输入至待训练模型的共享层模块中；基于各个第一样本类型的训练样本对共享层模块中的模型参数进行调整；通过共享层模块将各个第一样本类型的训练样本输入至待训练模型的各个任务类型对应的任务层模块中；通过各个任务层模块提取出自身匹配的训练数据；并基于各个任务层模块匹配的训练数据对各个任务层模块中的模型参数进行调整。本申请实施例不仅可以统一对共享层模块进行训练，而且还可以单独对各个任务层模块进行训练，在提升单任务性能的同时保留多任务训练的效果。

公开(公告)号：CN111061868A

公开(公告)日：2020-04-24

申请号：CN201911069834.7

申请日：2019-11-05

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 白洁 ,  王毅 ,  潘政林 ,  陈昌滨 ,  聂志朋 ,  高占杰

IPC: G06F16/35 ,  G06K9/62

Abstract: 本申请公开了读法预测模型获取及读法预测方法、装置及存储介质，涉及深度学习领域，其中的读法预测模型获取方法可包括：利用第一训练样本集训练得到语言模型，语言模型中至少包含两层多头注意力层；利用语言模型及分类器构成读法预测模型，并利用第二训练样本集训练读法预测模型，以便针对待预测的输入文本，预测出其中的预定类型字符的读法分类。应用本申请所述方案，可提升预测结果的准确性等。

公开(公告)号：CN110853613A

公开(公告)日：2020-02-28

申请号：CN201911119829.2

申请日：2019-11-15

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 聂志朋 ,  陈昌滨

IPC: G10L13/02 ,  G10L13/10 ,  G10L25/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请公开了一种韵律停顿等级预测的校正方法、装置、设备和介质，涉及韵律停顿等级预测技术。具体实现方案为：获取输入文本的韵律停顿等级的初始预测结果序列；获取所述初始预测结果序列的状态向量，其中，状态向量用于表示所述初始预测结果序列中各元素之间的依赖关系；将所述输入文本的语义向量与所述状态向量进行融合，得到融合向量；将所述融合向量输入条件随机场网络，得到校正后的预测结果序列。本申请实施例将语义向量与状态向量融合后再进行CRF，由于状态向量能表示预测结果序列中各元素之间的依赖关系，因此融合后不仅结合了语义信息，还结合了预测结果序列中各元素之间的依赖关系，从而提高CRF输出的最终校正后的预测结果序列的准确度。