公开(公告)号：CN115631261A

公开(公告)日：2023-01-20

申请号：CN202211269934.6

申请日：2022-10-17

申请人： 北京百度网讯科技有限公司

发明人： 冯智达 ,  张振宇 ,  余欣彤 ,  李岚欣 ,  方晔玮 ,  陈徐屹 ,  刘佳祥 ,  尹维冲 ,  冯仕堃 ,  孙宇

IPC分类号： G06T11/60 ,  G06F40/268 ,  G06F40/30 ,  G06F16/583 ,  G06N3/04 ,  G06N3/08

摘要： 本公开提供了一种图像生成模型的训练方法、图像生成方法和装置，涉及人工智能技术领域，尤其涉及自然语言处理、深度学习、计算机视觉技术领域。具体实现方案为：获取训练数据；其中，训练数据包括设置有词性标注信息的样本文本，以及样本文本对应的样本图像；在图像生成模型中，根据设置有词性标注信息的样本文本，确定图像生成模型输出的预测图像；根据预测图像以及样本文本对应的样本图像，对图像生成模型进行训练。由此，根据设置有词性标注信息的样本文本，确定图像生成模型输出的预测图像，根据预测图像以及样本图像，训练图像生成模型，提高训练得到的图像生成模型的准确度。

公开(公告)号：CN115631103A

公开(公告)日：2023-01-20

申请号：CN202211268479.8

申请日：2022-10-17

申请人： 北京百度网讯科技有限公司

发明人： 冯智达 ,  张振宇 ,  余欣彤 ,  李岚欣 ,  方晔玮 ,  陈徐屹 ,  刘佳祥 ,  尹维冲 ,  冯仕堃 ,  孙宇

IPC分类号： G06T5/00 ,  G06T5/50 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

摘要： 本公开公开了一种图像生成模型的训练方法和装置，以及图像生成方法及装置，涉及人工智能技术领域，进一步涉及图像处理技术领域。具体实现方案为：获取图像生成时间步，并对图像生成时间步进行划分，得到N个时间步组，获取每个时间步组的噪声样本图像，并基于噪声样本图像对时间步组的图像去噪网络进行训练，得到时间步组的目标图像去噪网络，基于每个时间步组的目标图像去噪网络，得到目标图像生成模型。本公开实施例中，通过对每个时间步组分别进行图像去噪模型的训练，不仅可以考虑较近时间步的相近性，同时兼顾了较远时间步的差异性，能够在不增加模型训练的计算量的前提下，并减少不同网络任务之间的干扰，从而可以实现大幅提升模型精度。

公开(公告)号：CN115600646A

公开(公告)日：2023-01-13

申请号：CN202211280626.3

申请日：2022-10-19

申请人： 北京百度网讯科技有限公司(CN)

发明人： 丁思宇 ,  王硕寰 ,  赵晏彬 ,  孙宇

IPC分类号： G06N3/04 ,  G06N3/08 ,  G06F40/289

摘要： 本公开提供了一种语言模型的训练方法、装置、介质及设备，涉及人工智能技术领域，尤其涉及自然语言处理领域。实现方案为：获取样本文本和相应的样本标签；基于样本文本，获取第一分词序列和第二分词序列；将第一分词序列的多个分词输入到第一子模型中，以获得第一预测结果；将第二分词序列的多个分词输入到第二子模型中，以获得第二预测结果；基于第一预测结果和第二预测结果，计算第一损失函数；基于第一预测结果、第二预测结果和该样本数据相应的样本标签，计算第二损失函数；以及基于第一损失函数和第二损失函数，调整初始语言模型的至少一个参数，以获得语言模型。

公开(公告)号：CN114861889B

公开(公告)日：2022-09-27

申请号：CN202210776887.8

申请日：2022-07-04

申请人： 北京百度网讯科技有限公司

发明人： 姜文斌 ,  冯知凡 ,  戴松泰 ,  孙宇 ,  吕雅娟 ,  柴春光 ,  佘俏俏

IPC分类号： G06N3/04 ,  G06N3/08 ,  G06K9/62

摘要： 本公开提供了一种深度学习模型的训练方法和装置、目标对象检测方法和装置、电子设备、存储介质和计算机程序产品，涉及人工智能领域，尤其涉及知识图谱、自然语言处理和深度学习技术领域。具体实现方案为：对样本数据进行序列化处理，得到序列化样本，样本数据包括文本、图像或者视频；将序列化样本输入第一网络，得到初始特征向量；将初始特征向量和多个知识信息输入第二网络，得到融合特征向量，其中，多个知识信息是根据序列化样本获取的；以及根据初始特征向量、参考特征向量和融合特征向量来调整第一网络和第二网络的参数，其中，参考特征向量是通过将序列化样本输入参考网络得到的。

公开(公告)号：CN114972910A

公开(公告)日：2022-08-30

申请号：CN202210550793.9

申请日：2022-05-20

申请人： 北京百度网讯科技有限公司

发明人： 单斌 ,  尹维冲 ,  孙宇

IPC分类号： G06V10/774 ,  G06K9/62

摘要： 本公开提供了一种图文识别模型的训练方法、装置、电子设备及存储介质，具体为计算机视觉和自然语言处理技术领域。具体实现方案为：获取初始样本图像，其中，初始样本图像对应初始样本文本，处理初始样本图像，以得到扩展样本图像，处理初始样本文本，以得到扩展样本文本，以及根据扩展样本图像和扩展样本文本训练初始图文识别模型，以得到目标图文识别模型。可以联合扩展样本图像和扩展样本文本训练初始图文识别模型以得到目标图文识别模型，有效提升图文识别模型训练效果，有效提升目标图文识别模型的泛化性和鲁棒性，提升图文识别模型执行图文识别任务时的准确性。

公开(公告)号：CN114970522A

公开(公告)日：2022-08-30

申请号：CN202210552543.9

申请日：2022-05-20

申请人： 北京百度网讯科技有限公司

发明人： 尚骏远 ,  王硕寰 ,  丁思宇 ,  赵晏彬 ,  庞超 ,  孙宇 ,  田浩 ,  吴华 ,  王海峰

IPC分类号： G06F40/289 ,  G06F40/30 ,  G06N3/08 ,  G06V10/774

摘要： 本公开公开了一种语言模型的预训练方法、语言模型的预训练装置、电子设备和可读存储介质，涉及人工智能领域，特别涉及深度学习领域。该方法包括：构建预训练语言数据集，其中，所述预训练语言数据集包括无监督语言数据和有监督语言数据；根据所述预训练语言数据集生成层次化的多模板多任务语言数据集；根据所述层次化的多模板多任务语言数据集对语言模型进行预训练。本公开实施例可以构建了一个多模板多任务语言数据集，将任务统一模板化，使得模型可以同时建模多任务数据。本公开实施例还可以提升模型多任务学习的鲁棒性，通过学习无监督数据中通用的知识，可以避免知识遗忘。

公开(公告)号：CN114840734A

公开(公告)日：2022-08-02

申请号：CN202210476076.6

申请日：2022-04-29

申请人： 北京百度网讯科技有限公司

发明人： 单斌 ,  尹维冲 ,  孙宇

IPC分类号： G06F16/908 ,  G06K9/62 ,  G06N3/08 ,  G06F40/30

摘要： 本公开提供了一种多模态表示模型的训练方法、跨模态检索方法及装置，涉及人工智能技术领域，尤其涉及深度学习、智能搜索技术领域。实现方案为：获取样本元组，样本元组包括第一数据模态的第一样本、第二样本和第二数据模态的第三样本第四样本；将四个样本分别输入相应的表示模块，得到第一表示、第二表示、第三表示和第四表示；基于第一表示和第二表示，确定第一单模态损失；基于第三表示和第四表示，确定第二单模态损失；基于第一目标表示和第二目标表示，确定第一跨模态损失和第二跨模态损失；基于第一单模态损失、第二单模态损失、第一跨模态损失和第二跨模态损失，确定多模态表示模型的整体损失；基于整体损失，调整多模态表示模型的参数。

公开(公告)号：CN114792097A

公开(公告)日：2022-07-26

申请号：CN202210524331.X

申请日：2022-05-14

申请人： 北京百度网讯科技有限公司

发明人： 柴业坤 ,  王硕寰 ,  孙宇

IPC分类号： G06F40/289 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

摘要： 本公开公开了一种预训练模型提示向量的确定方法、装置和电子设备，尤其涉及自然语言处理、深度学习等人工智能技术领域。其中，方案为：获取第一个提示向量及样本数据对应的第一向量；将第一向量与第一个提示向量融合后，输入至预训练模型中，以获取第一个提示向量对应的奖励值；基于奖励值，对第一个提示向量进行修正，以确定第二个提示向量；基于第二个提示向量，返回执行上述获取奖励值的操作，直至确定样本数据对应的目标提示向量。由此，可以基于奖励值对提示向量进行修正，以确定出下一个提示向量，也即通过前向推断，确定目标提示向量，节省了计算资源，同时也节省了确定目标提示向量的时间，提高了效率，为工业化部署提供了条件。

公开(公告)号：CN109032375B

公开(公告)日：2022-07-19

申请号：CN201810694975.7

申请日：2018-06-29

申请人： 北京百度网讯科技有限公司

发明人： 王硕寰 ,  孙宇 ,  曾刚

IPC分类号： G06F3/023 ,  G06F40/30 ,  G06K9/62 ,  G06V10/46 ,  G06N3/04 ,  G06N3/08

摘要： 本发明实施例公开了一种候选文本排序方法、装置、设备及存储介质。所述方法包括：获取用户输入的拼音片段；对所述拼音片段进行处理，得到与所述拼音片段对应的至少两个候选文本以及与各所述候选文本对应的第一评分；根据各所述候选文本与所述用户的历史输入文本之间的关联性，得到与各所述候选文本对应的第二评分；根据所述第一评分以及所述第二评分，确定各所述候选文本的排列顺序，并按照所述排列顺序，对各所述候选文本进行显示。通过本发明实施例的技术方案，能够提高输入法的个性化效果，提升用户体验。

公开(公告)号：CN114723045A

公开(公告)日：2022-07-08

申请号：CN202210358922.4

申请日：2022-04-06

申请人： 北京百度网讯科技有限公司

发明人： 王硕寰 ,  巩伟宝 ,  吴志华 ,  孙宇 ,  丁思宇 ,  韩雅倩 ,  赵晏彬 ,  刘雨昂 ,  于佃海

IPC分类号： G06N3/08 ,  G06N3/04 ,  G06K9/62 ,  G06F9/50

摘要： 本申请公开了一种模型训练方法、装置、系统、设备、介质及程序产品，涉及计算机技术领域，尤其涉及人工智能，自然语言处理、深度学习技术领域。在申请的一些实施例中，至少一个第一集群对样本数据集进行训练得到训练数据；第二集群，根据训练数据对训练模型进行训练；将生成训练数据的模型和预训练模型分别部署在不同的集群上，对模型进行跨集群训练，第一集群和第二集群之间只需要传输训练数据，而无需传输模型参数，集群间较低宽带通信即能满足本申请的跨集群训练，基于不同阶段的训练任务，将生成训练数据任务和预训练模型训练任务分别放置于不同的处理器中，提升硬件处理速度，提高模型的训练效率。