-
公开(公告)号:CN120031083A
公开(公告)日:2025-05-23
申请号:CN202411834313.7
申请日:2024-12-12
Applicant: 北京百度网讯科技有限公司
IPC: G06N3/0499 , G06N3/0455 , G06N3/084 , G06V40/40 , G06V10/82
Abstract: 本公开提供了一种流水线并行网络,涉及人工智能技术领域,具体涉及计算机视觉、深度学习、大模型等技术领域,可应用于人工智能的内容生成等场景。具体实现方案为:流水线并行网络用于训练流水线并行模型,网络包括:位于不同计算设备的子网络,每个子网络包括:模型层以及控制层;其中,模型层基于相邻子网络的输出,得到路由权重以及隐藏状态;控制层用于禁止路由权重的输出,降低了流水线并行网络的通信开销。
-
公开(公告)号:CN114537406B
公开(公告)日:2025-05-23
申请号:CN202210173716.6
申请日:2021-06-22
Applicant: 北京百度网讯科技有限公司
IPC: B60W40/04 , B60W40/105 , B60W30/18
Abstract: 本公开公开了一种车辆控制方法、装置、设备和计算机存储介质,涉及自动驾驶和智能交通技术领域。具体实现方案为:确定处于预设的地理围栏区域内的车辆;依据车辆类型和等待时长,确定所述车辆的车辆权重;依据所述地理围栏区域内各车道所包含车辆的车辆权重以及车辆在车道中的位置,预估各车道需要等待的时长;依据各车道需要等待的时长和车辆在车道中的位置,分别针对各车辆生成控制指令,所述控制指令包括状态指令和/或目标速度指令。本公开能够对地理围栏区域内的车辆进行全局调度决策,以缓解交通拥堵问题。
-
公开(公告)号:CN114036322B
公开(公告)日:2025-05-16
申请号:CN202111308794.4
申请日:2021-11-05
Applicant: 北京百度网讯科技有限公司
Abstract: 本公开提供了一种基于预训练语言模型的搜索系统的训练方法、电子设备和存储介质,涉及人工智能领域,尤其涉及智能搜索领域。实现方案为:接收样本数据集;初始化召回模型和排序模型中的多个参数;对于每一个样本数据,计算请求语义向量和多个数据语义向量之间的相似度,以获取第一数量的数据语义向量;依次将样本搜索请求和与每一个数据语义向量相对应的候选数据作为联合输入值输入到排序模型的交叉编码器中,以对候选数据进行排序;基于经排序的候选数据和样本数据集,计算损失函数;以及基于损失函数调整召回模型和排序模型中的多个参数。
-
公开(公告)号:CN119849442A
公开(公告)日:2025-04-18
申请号:CN202411865296.3
申请日:2024-12-17
Applicant: 北京百度网讯科技有限公司
IPC: G06F40/16 , G06F40/284 , G06F40/216
Abstract: 本公开提供了一种基于大模型的文本生成方法、装置、电子设备及存储介质,涉及大模型、自然语言处理等人工智能技术领域。具体实现方案为:获取匹配前缀;所述匹配前缀包括至少一个连续的词元;基于所述匹配前缀,按照预先配置的草稿词元序列长度,获取草稿词元序列;所述草稿词元序列中包括至少一个词元;采用预先训练的大模型,基于投机解码算法,对所述草稿词元序列进行有效性验证;响应于验证通过,将所述草稿词元序列,作为生成的文本。本公开的技术,能够有效地提高大模型的文本生成效率。
-
公开(公告)号:CN119808872A
公开(公告)日:2025-04-11
申请号:CN202411836245.8
申请日:2024-12-12
Applicant: 北京百度网讯科技有限公司
IPC: G06N3/082 , G06N3/0499 , G06N3/084
Abstract: 本公开提供了一种量化感知训练方法、装置、设备以及存储介质,本公开涉及人工智能技术领域,尤其涉及大模型、深度学习、量化感知训练等技术领域。具体实现方案为:对预训练模型的目标线性层的融合权重进行量化操作,得到目标线性层的量化权重;其中,融合权重通过融合目标线性层的原始权重和低秩适配器的待优化权重得到;基于目标线性层的量化权重,对预训练模型进行量化感知训练,以在冻结目标线性层的原始权重的情况下优化待优化权重。
-
公开(公告)号:CN119597910A
公开(公告)日:2025-03-11
申请号:CN202411537742.8
申请日:2024-10-30
Applicant: 北京百度网讯科技有限公司
IPC: G06F16/338 , G06F16/35 , G06F16/3329 , G06N5/04 , G06N3/0455 , G06N3/08
Abstract: 本公开提供一种基于大语言模型的提示文本生成方法、装置及存储介质。本公开涉及人工智能技术领域,尤其涉及智能搜索、大模型以及提示文本优化领域,能够用于智能客服系统、自动问答系统、内容生成工具、代码辅助工具、数据分析助手、教育辅导系统、医疗诊断辅助系统等应用场景。具体实现方案为:获取第一大语言模型基于第一提示文本为多个第一Query生成的输出内容;获取第二大语言模型基于预期响应行为生成的对输出内容的评估分数和解释;从多个第一Query中确定出第二Query;基于预期响应行为、第二Query及其对应的输出内容和解释,生成对第一提示文本的修改建议;基于修改建议对第一提示文本进行修改,得到第二提示文本。
-
公开(公告)号:CN119444977A
公开(公告)日:2025-02-14
申请号:CN202411336634.4
申请日:2024-09-24
Applicant: 北京百度网讯科技有限公司
Abstract: 本公开提供了基于大模型的虚拟形象生成方法、装置、智能体、电子设备及存储介质,涉及人工智能技术领域,尤其涉及计算机视觉、深度学习、大模型等技术领域,可应用于AIGC、数字人、智能电商等场景。该方法包括:利用大模型处理包括目标对象的目标图像,得到对象描述信息,目标对象具有纹理信息;利用纹理生成式大模型处理目标图像和表征三维对象的对象形态的待处理图像,得到具有目标纹理信息的目标三维对象,三维对象是基于对象描述信息确定的,目标纹理信息与纹理信息相匹配;以及基于目标三维对象生成虚拟形象。
-
公开(公告)号:CN118940730A
公开(公告)日:2024-11-12
申请号:CN202411045495.X
申请日:2024-07-31
Applicant: 北京百度网讯科技有限公司
IPC: G06F40/166 , G06F40/30 , G06N3/0442 , G06N3/045 , G06N3/084 , G06N5/04
Abstract: 本公开提供了一种基于大模型的文本生成方法和文本生成模型的训练方法、装置、设备、介质、程序产品,涉及人工智能技术领域,尤其涉及深度学习、自然语言处理和大模型等技术领域。文本生成方法的具体实现方案为:获取针对待处理文本的记忆状态;记忆状态是基于待处理文本的在前文本生成的;以待处理文本的嵌入特征作为初始隐藏状态,采用第一注意力机制对记忆状态和初始隐藏状态进行处理,得到更新后隐藏状态;以及基于更新后隐藏状态,生成针对待处理文本的在后文本。
-
公开(公告)号:CN116860328B
公开(公告)日:2024-08-23
申请号:CN202310804563.5
申请日:2023-06-30
Applicant: 北京百度网讯科技有限公司
IPC: G06F9/30 , G06N3/0455 , G06F40/20 , G06F40/58
Abstract: 本公开提供了一种生成指令数据的方法、装置、设备和介质,涉及人工智能技术领域,尤其涉及自然语言处理和深度学习等技术领域。该方法包括:获取基于自然语言的参考指令,所述参考指令能够指示大模型生成满足与多个第一要求类别对应的多个第一要求的回复数据;获取对参考指令的结构化拆解结果,以得到与多个第一要求类别对应的多个参考槽位和与多个第一要求对应的多个参考槽值;基于多个参考槽位、多个参考槽值以及预设规则,确定多个样本槽位和与多个样本槽位对应的多个样本槽值;以及基于多个样本槽位和多个样本槽值,生成基于自然语言的样本指令,样本指令能够指示大模型生成满足与多个样本槽值对应的多个第二要求的回复数据。
-
公开(公告)号:CN118520912A
公开(公告)日:2024-08-20
申请号:CN202410316903.4
申请日:2024-03-19
Applicant: 北京百度网讯科技有限公司
IPC: G06N3/0495 , G06N3/0455 , G06N3/096
Abstract: 本公开提供了稀疏注意力网络的稀疏处理方法、装置及电子设备。本公开涉及人工智能技术领域,尤其涉及大模型、深度学习和自然语言处理等技术领域。具体方案为:在内存单元采用约束条件构造掩码稀疏表示;其中,约束条件为:掩码矩阵的维度为[B,a,S],B表示批量大小,a表示头数,S表示序列长度,S维度中的每个元素表示掩码矩阵中每列被掩码的起始行;计算单元从内存单元获取掩码稀疏表示,采用掩码稀疏表示对输入数据进行稀疏处理,将稀疏处理结果存入内存单元。本公开的方案,通过采用约束条件构造掩码稀疏表示,能够将内存消耗从序列长度的平方量级降低为序列长度的线性量级,从而显著减少大模型训练时的内存需求,提高训练效率。
-
-
-
-
-
-
-
-
-