公开(公告)号：CN118520090A

公开(公告)日：2024-08-20

申请号：CN202410680096.4

申请日：2024-05-29

申请人： 北京百度网讯科技有限公司

发明人： 丁思宇 ,  尹维冲 ,  孙宇 ,  田浩 ,  吴华 ,  王海峰

IPC分类号： G06F16/332 ,  G06F16/33 ,  G06F40/194 ,  G06F18/214 ,  G06N3/092

摘要： 本公开提供了大型奖励模型的训练数据集的确定方法、装置及电子设备，涉及人工智能技术领域，尤其涉及深度学习、自然语言处理、大模型等技术领域。具体实现方案为：获取候选问题文本，以及候选问题文本对应的应答需求；根据候选问题文本以及候选问题文本对应的应答需求，确定候选问题文本对应的至少一个候选答案文本以及至少一个候选答案文本的评分数据；根据至少一个候选答案文本的评分数据，从至少一个候选答案文本中选择目标答案文本；根据目标答案文本的评分数据、以及目标答案文本对应的候选问题文本，构建大型奖励模型的训练数据集，用于对大型奖励模型进行训练处理；其中，用于大型奖励模型训练处理的训练数据集由电子设备结合候选问题文本以及对应的应答需求生成得到，准确度较高，提高了训练得到的大型奖励模型的准确性以及泛化性，从而提高了基于大型奖励模型进行强化学习得到的对话模型的准确度。

公开(公告)号：CN113408638B

公开(公告)日：2024-06-21

申请号：CN202110735676.5

申请日：2021-06-30

申请人： 北京百度网讯科技有限公司

发明人： 赵晏彬 ,  丁思宇 ,  王硕寰 ,  刘占一 ,  孙宇

IPC分类号： G06F18/214 ,  G06N20/00

摘要： 本公开公开了一种模型训练方法、装置、设备和计算机存储介质，涉及人工智能技术领域下的深度学习和自然语言处理技术。具体实现方案为：获取已训练得到的第一模型；利用所述第一模型的参数对第二模型的参数进行初始化；利用预设的训练目标，对所述第二模型进行训练以迭代更新所述第二模型的参数；其中，所述第二模型的规模大于所述第一模型，且所述第一模型和第二模型的类型相同。通过本公开能够提高模型训练的效率，降低成本。

公开(公告)号：CN115906918B

公开(公告)日：2024-05-17

申请号：CN202211502211.6

申请日：2022-11-28

申请人： 北京百度网讯科技有限公司

发明人： 尚骏远 ,  赵晏彬 ,  丁思宇 ,  王硕寰 ,  孙宇

IPC分类号： G06N3/04 ,  G06N3/08 ,  G06F40/205

摘要： 本公开提供了预训练模型的微调方法及装置，涉及深度学习领域，尤其涉及模型处理技术领域。该方法包括：确定预训练模型，预训练模型包括N层Transformer层和N层全连接层，每层Transformer层分别连接至一层全连接层，每层全连接层对应的参数基于Transformer层的参数确定；基于预训练数据库确定目标下游任务对应的提示词；将提示词和目标下游任务对应的输入文本输入至预训练模型得到输出结果，基于输出结果计算损失值，基于损失值更新N层全连接层对应的参数。本公开可有效继承预训练阶段多任务知识，提升小样本任务的收敛速度与效果，提升模型的建模能力，可建模难度更大的生成任务，提升模型训练的稳定性，解决了大模型无法收敛的问题，且部署开发难度和部署成本均较低。

公开(公告)号：CN116187282B

公开(公告)日：2024-03-08

申请号：CN202211727389.0

申请日：2022-12-30

申请人： 北京百度网讯科技有限公司

发明人： 韩雅倩 ,  王硕寰 ,  孙宇

IPC分类号： G06F40/166 ,  G06F40/194 ,  G06F40/211 ,  G06F40/295 ,  G06F40/58

公开(公告)号：CN111832292B

公开(公告)日：2024-02-02

申请号：CN202010494419.2

申请日：2020-06-03

申请人： 北京百度网讯科技有限公司

发明人： 王硕寰 ,  丁思宇 ,  孙宇 ,  吴华 ,  王海峰

IPC分类号： G06F40/279 ,  G06N20/00

摘要： 本申请公开了一种文本识别处理方法以及装置，涉及自然语言处理领域、深度学习领域。具体实现方案为：获取N个片段序列，其中，至少一个片段序列存在掩码；将N个片段序列输入至初始语言模型，获取与N个片段序列对应的第一文本向量信息；将每个片段序列再次输入至初始语言模型，获取与当前输入的第N个片段序列对应的前N个片段序列对应的第二文本向量信息；若检测到当前输入的第N个片段序列中存在掩码，则根据第二文本向量信息和第一文本向量信息对掩码进行预测，获取与掩码对应目标位置的预测词；根据目标位置预设的原始词和预测词，训练初始语言模型的模型参数以生成长文本语言模型，根据该模型按照预设的目标任务对输入文本进行识别处理。

公开(公告)号：CN115688796B

公开(公告)日：2023-12-05

申请号：CN202211300765.8

申请日：2022-10-21

申请人： 北京百度网讯科技有限公司

发明人： 丁思宇 ,  王硕寰 ,  赵晏彬 ,  孙宇

IPC分类号： G06F40/30 ,  G06F40/289 ,  G06F18/214

摘要： 本公开提供了一种用于自然语言处理领域中预训练模型的训练方法及其装置，涉及人工智能领域，具体涉及自然语言处理、深度学习技术，可应用在自然语言处理(如文本分类、文本识别等)下游任务场景下。具体实现方案为：获取样本文本和样本文本的负例样本文本；将样本文本按照字词混合粒度进行切分处理，获得第一切分文本和第二切分文本；其中，第一切分文本的字词混合粒度区别于第二切分文本的字词混合粒度；基于负例样本文本、第一切分文本和第二切分文本，生成对比学习任务的正例对和负例对；基于对比学习任务的正例对和负例对，对预训练模型进行对比学习训练。本公开不仅可以带来更丰富的语义信息，还可以降低建模时的文本长度，减小模型训练时间和成本。

公开(公告)号：CN115909354B

公开(公告)日：2023-11-10

申请号：CN202211417275.6

申请日：2022-11-11

申请人： 北京百度网讯科技有限公司

发明人： 丁思宇 ,  赵晏彬 ,  王硕寰 ,  孙宇

IPC分类号： G06V30/164 ,  G06N3/08 ,  G06V30/19

摘要： 本公开提出了一种文本生成模型的训练方法、文本获取方法及装置，涉及自然语言处理和深度学习等人工智能领域，方法包括基于原始文本对初始文本生成模型进行训练，得到候选文本生成模型；对原始文本进行扰动，以获取原始文本的噪声文本；获取原始文本和噪声文本的字符映射关系；根据原始文本、噪声文本和字符映射关系，对候选文本生成模型进行训练，以得到训练好的目标文本生成模型。本公开中，提高了目标文本生成模型输出的文本内容与人们惯用的阅读习惯之间的适配度，优化了人们的阅读体验，提高了目标文本生成模型在重复文本内容生成场景下的鲁棒性，优化了文本生成模型的实用性和适用性。

公开(公告)号：CN116932713A

公开(公告)日：2023-10-24

申请号：CN202310797144.3

申请日：2023-06-30

申请人： 北京百度网讯科技有限公司

发明人： 丁思宇 ,  韩雅倩 ,  王硕寰 ,  孙宇 ,  田浩 ,  吴华 ,  王海峰

IPC分类号： G06F16/332 ,  G06F16/33 ,  G06F16/338

摘要： 本公开提供了一种奖励模型训练和奖励值生成方法、装置、设备和存储介质，涉及人工智能技术领域，具体为自然语言处理、深度学习等技术领域。奖励模型训练方法包括：获取请求文本和所述请求文本对应的原始响应文本；基于所述原始响应文本的长度，对所述原始响应文本进行采样处理，以获得目标响应文本；其中，所述长度与所述采样处理成反向关系；基于所述请求文本和所述目标响应文本，训练奖励模型。本公开可以高效地纠正奖励模型的长度偏置问题。

公开(公告)号：CN112786108B

公开(公告)日：2023-10-24

申请号：CN202110082654.3

申请日：2021-01-21

申请人： 北京百度网讯科技有限公司

发明人： 李宇琨 ,  张涵 ,  肖东凌 ,  孙宇

IPC分类号： G16B40/00 ,  G16B30/00 ,  G06N3/0455 ,  G06N3/0499 ,  G06N3/08 ,  G06F18/24 ,  G06F18/27

摘要： 本公开公开了一种分子理解模型的训练方法、装置、设备和介质，涉及计算机技术领域，具体涉及自然语言处理、深度学习等人工智能技术领域。该训练方法包括：获取预训练数据，所述预训练数据包括：第一分子表示序列样本和第二分子表示序列样本，所述第一分子表示序列样本和所述第二分子表示序列样本为同一个分子的两种不同的分子表示序列样本；采用所述分子理解模型，对所述第一分子表示序列样本进行处理，以得到预训练输出；根据所述预训练输出和所述第二分子表示序列样本计算预训练损失函数，并根据所述预训练损失函数更新所述分子理解模型的参数。本公开可以提高分子理解模型的分子理解效果。

公开(公告)号：CN116821684A

公开(公告)日：2023-09-29

申请号：CN202310814621.2

申请日：2023-07-04

申请人： 北京百度网讯科技有限公司

发明人： 丁思宇 ,  王硕寰 ,  赵晏彬 ,  孙宇 ,  田浩 ,  吴华 ,  王海峰

IPC分类号： G06F18/214 ,  G06N3/045 ,  G06N3/088 ,  G06N3/0895 ,  G06F16/332

摘要： 本公开提供了一种大语言模型的训练方法、装置、设备和介质，涉及人工智能技术领域，尤其涉及自然语言处理和深度学习等技术领域。该方法包括：获取大规模无监督文本数据；从大规模问答数据中提取多个问题答案对；基于多个问题答案对，构建弱监督指令数据，包括：针对多个问题答案对中的每一个问题答案对，将该问题答案对中的问题作为样本指令，并将该问题答案对中的答案作为与样本指令对应的真值回复数据，构建与该问题答案对对应的指令训练样本；以及基于与多个问题答案对各自对应的指令训练样本，构建弱监督指令数据；以及利用包括大规模无监督文本数据和弱监督指令数据的混合训练数据，对大语言模型进行预训练。