-
公开(公告)号：CN110929627A
公开(公告)日：2020-03-27
申请号：CN201911126284.8
申请日：2019-11-18
Applicant: 北京大学
Abstract: 本发明公布了一种基于宽模型稀疏数据集的高效GPU训练模型的图像识别方法，将图像的像素转换为向量，再对向量进行训练归类；通过建立机器学习训练方法CuWide，CuWide采用了复制策略、重要性缓存、面向列的存储和多流技术的流管道，利用GPU并使用大量稀疏数据集高效地训练图像识别预测宽模型，将图像识别预测宽模型在GPU上部署、训练，本发明方法在训练大规模的宽模型方面性能优异，可大大提高图像识别的效率。
-
公开(公告)号：CN102495860A
公开(公告)日：2012-06-13
申请号：CN201110373475.1
申请日：2011-11-22
Applicant: 北京大学
IPC: G06F17/30
Abstract: 本发明是一种基于语言模型的专家推荐方法，包括步骤：S1：收集用户的发布内容来表征相应用户的知识特征，采用文本检索中的语言模型来对用户的知识特征进行基于概率的文本建模，建立的模型中具有用户专家度数据索引；S2：在用户和用户之间建立用户关系模型，用户关系模型中具有用户关系图，用户的专家度能互相给对方产生影响；S3：在给出一个查询时，根据每个用户的专家度索引信息计算原始专家度，并给出原始用户排序列表；S4：根据用户关系图之间的相互联系调整每个用户的专家度，得到最终的用户排序列表。
-
公开(公告)号：CN119886324A
公开(公告)日：2025-04-25
申请号：CN202411752047.3
申请日：2024-12-02
Applicant: 北京大学
IPC: G06N5/04 , G06N3/0455 , G06N3/084
Abstract: 本发明公开一种面向异构序列负载的灵活大模型训练方法及系统，属于大模型技术领域。所述方法包括：将一个训练数据批次划分为若干微批次；其中，一个训练数据批次由若干个序列组成；对于每一微批次，通过最小化该微批次的最大执行时间，将该微批次中的序列分配到不同SP组，以生成最优序列并行策略；基于该最优序列并行策略，在大模型上执行该微批次的训练，并将反向传播得到的梯度进行累加，以更新大模型参数。本发明可以根据实际训练时实时的工作负载的序列长度情况，求解最优的序列并行方案，减少高的序列并行度带来的低效的跨节点通信，提高大模型在长序列场景下训练的效率。
-
公开(公告)号：CN119558371A
公开(公告)日：2025-03-04
申请号：CN202411501855.2
申请日：2024-10-25
Applicant: 北京大学
IPC: G06N3/08 , G06N3/063 , G06N3/0455 , G06F9/50
Abstract: 本发明公开一种支持并行热切换的大模型训练方法及系统，属于大模型训练技术领域。所述方法包括：生成一逻辑计算图，所述逻辑计算图用于表示多组不同的并行策略组合；编译所述逻辑计算图，生成多个可执行计算图；其中，每一个可执行计算图对应一组并行策略组合；在多个可执行计算图中选取用于初始化大模型状态的初始化图，并根据任两组并行策略组合之间热切换代价，编排可执行计算图之间的执行顺序；基于所述初始化图以及可执行计算图之间的执行顺序进行大模型的训练。本发明不仅可以保证每个分组内的序列计算量/工作负载大致接近，还可以使得并行策略能够在模型训练过程中动态地切换，并正常完成模型的梯度累积和更新。
-
公开(公告)号：CN117349050A
公开(公告)日：2024-01-05
申请号：CN202210726888.1
申请日：2022-06-24
Applicant: 中兴通讯股份有限公司 , 北京大学
Abstract: 本申请公开了一种数据库的故障诊断方法、装置和存储介质，该方法包括：获取数据库用于故障诊断的数据；根据所述数据和前置分类模块，确定所述数据库的故障所属的故障类型；根据所述数据和所述故障类型对应的后置分类模块，确定所述数据库的故障所属的故障类型中具体的故障子类型；输出所述数据库的故障所属的故障类型中具体的故障子类型。通过这种方式，本申请能够减少训练所需的样本，提高预测的精准率，一定程度上能够减少重新训练模型的时间成本。
-
Patent Agency Ranking
公开(公告)号：CN116128019A
公开(公告)日：2023-05-16
申请号：CN202211441633.7
申请日：2022-11-17
Applicant: 北京大学
IPC: G06N3/0455 , G06N3/08
Abstract: 本发明提供一种Transformer模型的并行训练方法及装置，涉及计算机技术领域；其中所述Transformer模型的并行训练方法包括：基于M种预设并行训练策略，确定初始Transformer模型的并行训练策略搜索空间；基于各预设并行训练策略，构建至少一棵决策树；决策树用于从并行训练策略搜索空间中确定初始Transformer模型的并行训练策略集合；基于训练策略集合，确定目标并行训练策略组合；利用目标并行训练策略组合对初始Transformer模型进行训练，得到目标Transformer模型。利用吞吐率最高的目标并行训练策略组合对初始Transformer模型进行训练，提高了对模型的训练效率。
-
公开(公告)号：CN114418095A
公开(公告)日：2022-04-29
申请号：CN202210071149.3
申请日：2022-01-21
Applicant: 腾讯科技(深圳)有限公司 , 北京大学
Abstract: 本申请实施例提供了一种联邦神经网络的训练方法、装置、电子设备及计算机可读存储介质，涉及人工智能领域。该方法包括：确定顶层模型输出的批量的第一参与方数据的反向偏导，根据正样本和负样本的反向偏导的分布情况以及扰动程度确定噪声数据的分布范围；针对每个反向偏导从分布范围中随机采样噪声数据，对反向偏导添加噪声数据，获得扰动后的反向偏导；将扰动后的反向偏导输入底层模型，以使得底层模型根据扰动后的反向偏导更新底层模型的参数。本申请实施例不需要像现有技术进行迭代或长时间的复杂计算，相对于相关技术效率更高，当效率提高后，可提供更低的最大可接受距离指标，从而提高对标签的保护能力。
-
公开(公告)号：CN114358859A
公开(公告)日：2022-04-15
申请号：CN202210277082.9
申请日：2022-03-21
Applicant: 北京大学
Abstract: 本发明公布了一种用于点击率预测的基于图的大规模embedding模型训练方法及系统，系统包括密集参数模块和客户端模块，采用混合通信架构，将点击率预测输入数据集分配给不同工作节点，每个工作节点维护一个客户端，本地模型参数均直接存储在GPU内存中；每个工作节点均持有模型参数副本，并在训练时进行同步。本发明采用Embedding模型参数表示点击率预测输入数据对应类别特征值的重要性，将点击率预测数据和embedding模型向量表示为二元图模型，利用图局部性和度数偏斜特性执行模型并行训练；设计基于图的分区和有界同步，提高训练大型embedding模型的可扩展性和并行计算效率。
-
公开(公告)号：CN113822956A
公开(公告)日：2021-12-21
申请号：CN202110711310.4
申请日：2021-06-25
Applicant: 腾讯科技(深圳)有限公司 , 北京大学
Abstract: 本申请提供了一种图压缩方法、装置、计算机设备及存储介质，属于人工智能技术领域。方法包括：对于目标图的任一图分区，基于图分区中的各子树与对应的最近邻居子树，确定至少两个中间子树；对图分区中的至少两个中间子树进行压缩，得到压缩子树，压缩子树中的一个顶点表示一个中间子树；基于至少两个图分区对应的压缩子树，确定目标图的最小生成树。上述技术方案，提供了一种新颖的图压缩方法，在处理图分区中的子树时，对中间子树进行压缩，从而减少了图的规模，减少了迭代次数，提高了处理速度，显著的提高了最小生成树的获取效率。
-
公开(公告)号：CN113822412A
公开(公告)日：2021-12-21
申请号：CN202110651232.3
申请日：2021-06-10
Applicant: 深圳市腾讯计算机系统有限公司 , 北京大学
Abstract: 本申请公开了一种图节点标注方法、装置、计算机设备及存储介质，应用于图像处理领域，包括：在图样本数据包括的无标注节点中确定候选节点。根据候选节点和已标注节点在图样本数据中的位置，确定候选节点对应的预设区域内的目标无标注节点，目标无标注节点包括候选节点。确定目标无标注节点对应的第一指数以及确定目标无标注节点对应的第二指数，其中，第一指数用于评价目标无标注节点针对于图样本数据的代表性，第二指数用于评价目标无标注节点针对于图样本数据的信息量。根据目标无标注节点对应的第一指数和第二指数，确定目标无标注节点对应的评价分值。根据目标无标注节点对应的评价分值，对候选节点进行标注，得到标注节点。
-
-
-
-
-
-
-
-
-
Search Results
49
records
(took 0.031 seconds)
