-
公开(公告)号：CN118520912A
公开(公告)日：2024-08-20
申请号：CN202410316903.4
申请日：2024-03-19
申请人： 北京百度网讯科技有限公司
IPC分类号： G06N3/0495 , G06N3/0455 , G06N3/096
摘要： 本公开提供了稀疏注意力网络的稀疏处理方法、装置及电子设备。本公开涉及人工智能技术领域，尤其涉及大模型、深度学习和自然语言处理等技术领域。具体方案为：在内存单元采用约束条件构造掩码稀疏表示；其中，约束条件为：掩码矩阵的维度为[B,a,S]，B表示批量大小，a表示头数，S表示序列长度，S维度中的每个元素表示掩码矩阵中每列被掩码的起始行；计算单元从内存单元获取掩码稀疏表示，采用掩码稀疏表示对输入数据进行稀疏处理，将稀疏处理结果存入内存单元。本公开的方案，通过采用约束条件构造掩码稀疏表示，能够将内存消耗从序列长度的平方量级降低为序列长度的线性量级，从而显著减少大模型训练时的内存需求，提高训练效率。
-
公开(公告)号：CN115034198B
公开(公告)日：2023-05-12
申请号：CN202210531140.6
申请日：2022-05-16
申请人： 北京百度网讯科技有限公司
摘要： 本公开提供了一种语言模型中嵌入模块计算优化的方法，涉及深度学习、自然语言处理等人工智能技术领域。该方法包括：获取输入数据，其中，输入数据包含至少一个带填充的输入张量；基于输入张量生成索引张量，其中，索引张量中存储了输入张量中非填充元素的索引；基于索引张量和聚集算子对输入张量进行压缩，得到压缩后的输入张量；将压缩后的输入张量作为嵌入模块的输入，计算得到目标张量。本公开提供的语言模型中嵌入模块计算优化的方法对输入样本的索引集合、类别集合和位置集合进行压缩，并将压缩后得到的张量作为其他模块的输入进行计算，减少了嵌入模块中各层的计算量，提升了嵌入模块的性能。
-
公开(公告)号：CN111290785A
公开(公告)日：2020-06-16
申请号：CN202010153719.4
申请日：2020-03-06
申请人： 北京百度网讯科技有限公司
IPC分类号： G06F8/76
摘要： 本公开涉及一种用于评估深度学习框架系统兼容性的方法、装置、电子设备和介质，涉及深度学习技术领域。本公开提供的方法包括：获取与第一深度学习框架系统相关的第一代码和与第二深度学习框架系统相关的第二代码，其中第二代码是第一代码的迭代；识别第一代码中被调用的至少一个第一应用程序接口，并生成与至少一个第一应用程序接口对应的第一字符串文件；识别第二代码中被调用的至少一个第二应用程序接口，并生成与至少一个第二应用程序接口对应的第二字符串文件；比较第一字符串文件和第二字符串文件；基于比较的结果，评估第二深度学习框架系统的兼容性。本公开提供的方法有助于使深度学习框架系统兼容性的评估过程更加便捷可靠。
-
公开(公告)号：CN117743609A
公开(公告)日：2024-03-22
申请号：CN202311761256.X
申请日：2023-12-20
申请人： 北京百度网讯科技有限公司
摘要： 本公开提供了多媒体数据处理方法、装置、电子设备、存储介质以及程序产品，涉及人工智能技术领域，尤其涉及大模型、大语言模型、Transformer(编码解码器)、对话式模型、生成式模型等技术领域。具体实现方案为：基于存储单元的可用存储容量和数据块序列的数据量，确定驱逐策略；重复执行下述操作，直至n等于N：在确定n小于N的情况下，基于驱逐策略，对第n‑1数据块特征进行驱逐，得到第n‑1驱逐后特征；基于第n‑1驱逐后特征和第n数据块，得到第n数据块特征；将第n数据块特征存储至存储单元；在确定n等于N的情况下，基于第n数据块特征，得到目标处理结果。
-
公开(公告)号：CN117610677A
公开(公告)日：2024-02-27
申请号：CN202311426412.7
申请日：2023-10-31
申请人： 北京百度网讯科技有限公司
IPC分类号： G06N20/00 , G06V10/774 , G06F40/205
摘要： 本公开提供了模型训练方法、装置、设备及存储介质。本公开涉及人工智能技术领域，具体为自然语言处理、深度学习、计算机视觉、图像处理等技术领域。具体方案为：在计算设备上部署待训练模型；对部署于计算设备上的待训练模型进行训练，得到目标模型；其中，对部署于计算设备上的待训练模型进行训练，包括：获取表征本轮梯度的值和表征历史梯度的值；基于表征历史梯度的值和表征本轮梯度的值，得到目标裁剪方式对应的参考值；在参考值达到目标裁剪方式对应的裁剪标准的情况下，采用目标裁剪方式对本轮梯度进行裁剪。根据本公开的方案，能够及时发现在模型训练过程中的梯度异常，有效抑制训练发散或损失尖峰的发生，进而有效提高模型训练的稳定性。
-
公开(公告)号：CN116704291A
公开(公告)日：2023-09-05
申请号：CN202310729857.6
申请日：2023-06-19
申请人： 北京百度网讯科技有限公司
IPC分类号： G06V10/774 , G06V10/764 , G06V10/26 , G06V10/82 , G06N3/0499 , G06N3/084
摘要： 本公开提供了分片并行的模型训练方法、装置、设备及存储介质。本公开涉及人工智能技术领域，具体为自然语言处理、深度学习、计算机视觉、图像处理等技术领域。具体方案为：在多个计算设备上部署待训练模型；对待训练模型的输入变量中的序列长度变量进行切分，得到切分后的数据；根据切分后的数据在多个计算设备上执行分片并行训练，得到目标模型。根据本公开的方案，采用基于分片并行的模型训练方式，训练长序列模型，能够减少设备之间的通信量，减少跨设备通信时间，提高模型训练的效率。
-
公开(公告)号：CN114742035B
公开(公告)日：2023-07-07
申请号：CN202210555349.6
申请日：2022-05-19
申请人： 北京百度网讯科技有限公司
IPC分类号： G06F40/211 , G06F40/30 , G06N3/0499 , G06N3/084
摘要： 本公开提供了一种基于注意力机制优化的文本处理方法、网络模型训练方法及装置、设备、介质和产品，涉及人工智能技术领域，具体为自然语言处理和深度学习技术领域。具体实现方案包括：对待处理文本中的M个文本语句进行划分，得到N个语句分组，其中，N为大于0的整数，M为不小于N的整数，N个语句分组的各语句分组中包括至少一个文本语句；确定各语句分组中的至少一个文本语句的注意力分布特征；以及基于各语句分组的注意力分布特征进行并行运算，得到针对待处理文本的输出结果。
-
公开(公告)号：CN111290785B
公开(公告)日：2023-06-06
申请号：CN202010153719.4
申请日：2020-03-06
申请人： 北京百度网讯科技有限公司
IPC分类号： G06F8/76
摘要： 本公开涉及一种用于评估深度学习框架系统兼容性的方法、装置、电子设备和介质，涉及深度学习技术领域。本公开提供的方法包括：获取与第一深度学习框架系统相关的第一代码和与第二深度学习框架系统相关的第二代码，其中第二代码是第一代码的迭代；识别第一代码中被调用的至少一个第一应用程序接口，并生成与至少一个第一应用程序接口对应的第一字符串文件；识别第二代码中被调用的至少一个第二应用程序接口，并生成与至少一个第二应用程序接口对应的第二字符串文件；比较第一字符串文件和第二字符串文件；基于比较的结果，评估第二深度学习框架系统的兼容性。本公开提供的方法有助于使深度学习框架系统兼容性的评估过程更加便捷可靠。
-
公开(公告)号：CN118550708A
公开(公告)日：2024-08-27
申请号：CN202410789531.7
申请日：2024-06-18
申请人： 北京百度网讯科技有限公司
IPC分类号： G06F9/50 , G06F18/24 , G06N3/0455 , G06N3/08 , G06N3/048
摘要： 本公开提供了用于大语言模型的任务执行方法、装置、设备和存储介质，涉及人工智能技术领域，尤其涉及深度学习、大语言模型、自然语言处理、计算机视觉等技术领域。具体实现方案为：基于与待处理特征对应的稀疏表示，利用判断单元从多个待处理注意力任务中确定目标注意力任务；其中，目标注意力任务为与待处理特征的非全部掩码区域对应的任务；稀疏表示用于表征待处理特征的掩码位置；掩码位置表征在与待处理特征对应的掩码矩阵中至少两个彼此不相交的区间内的掩码端点位置；以及利用计算单元执行目标注意力任务，得到注意力特征。
-
公开(公告)号：CN118394895A
公开(公告)日：2024-07-26
申请号：CN202410316248.2
申请日：2024-03-19
申请人： 北京百度网讯科技有限公司
IPC分类号： G06F16/332 , G06F16/33 , G06N5/04 , G06N20/00
摘要： 本公开提供了应用于大语言模型的文本推理加速方法及相关装置，涉及数据处理技术领域，尤其涉及大语言模型、深度学习、长文本推理等技术领域。具体实现方案为：从显存内存储的目标词元集中筛选出需要保留的核心词元集；其中，所述核心词元集中至少包括第一词元子集，所述第一词元子集是基于多个代理词元对所述目标词元集进行全局查询操作所得的注意分数确定的，且各代理词元是从所述目标词元集中筛选的；基于所述核心词元集，对所述显存内的所述目标词元集进行驱逐操作。本公开实施例通过多个代理词元筛选出需要保留的核心词元集，减少不必要的词元的处理压力，从而能够有效的释放显存空间，提高大语言模型的推理速度。
-
-
-
-
-
-
-
-
-
搜索结果
31 条记录 (耗时 0.034 秒)
