-
Patent Agency Ranking
公开(公告)号：CN114358859B
公开(公告)日：2022-07-01
申请号：CN202210277082.9
申请日：2022-03-21
Applicant: 北京大学
Abstract: 本发明公布了一种用于点击率预测的基于图的大规模embedding模型训练方法及系统，系统包括密集参数模块和客户端模块，采用混合通信架构，将点击率预测输入数据集分配给不同工作节点，每个工作节点维护一个客户端，本地模型参数均直接存储在GPU内存中；每个工作节点均持有模型参数副本，并在训练时进行同步。本发明采用Embedding模型参数表示点击率预测输入数据对应类别特征值的重要性，将点击率预测数据和embedding模型向量表示为二元图模型，利用图局部性和度数偏斜特性执行模型并行训练；设计基于图的分区和有界同步，提高训练大型embedding模型的可扩展性和并行计算效率。
-
公开(公告)号：CN110929627B
公开(公告)日：2021-12-28
申请号：CN201911126284.8
申请日：2019-11-18
Applicant: 北京大学
Abstract: 本发明公布了一种基于宽模型稀疏数据集的高效GPU训练模型的图像识别方法，将图像的像素转换为向量，再对向量进行训练归类；通过建立机器学习训练方法CuWide，CuWide采用了复制策略、重要性缓存、面向列的存储和多流技术的流管道，利用GPU并使用大量稀疏数据集高效地训练图像识别预测宽模型，将图像识别预测宽模型在GPU上部署、训练，本发明方法在训练大规模的宽模型方面性能优异，可大大提高图像识别的效率。
-
公开(公告)号：CN110929627A
公开(公告)日：2020-03-27
申请号：CN201911126284.8
申请日：2019-11-18
Applicant: 北京大学
Abstract: 本发明公布了一种基于宽模型稀疏数据集的高效GPU训练模型的图像识别方法，将图像的像素转换为向量，再对向量进行训练归类；通过建立机器学习训练方法CuWide，CuWide采用了复制策略、重要性缓存、面向列的存储和多流技术的流管道，利用GPU并使用大量稀疏数据集高效地训练图像识别预测宽模型，将图像识别预测宽模型在GPU上部署、训练，本发明方法在训练大规模的宽模型方面性能优异，可大大提高图像识别的效率。
-
公开(公告)号：CN116128019A
公开(公告)日：2023-05-16
申请号：CN202211441633.7
申请日：2022-11-17
Applicant: 北京大学
IPC: G06N3/0455 , G06N3/08
Abstract: 本发明提供一种Transformer模型的并行训练方法及装置，涉及计算机技术领域；其中所述Transformer模型的并行训练方法包括：基于M种预设并行训练策略，确定初始Transformer模型的并行训练策略搜索空间；基于各预设并行训练策略，构建至少一棵决策树；决策树用于从并行训练策略搜索空间中确定初始Transformer模型的并行训练策略集合；基于训练策略集合，确定目标并行训练策略组合；利用目标并行训练策略组合对初始Transformer模型进行训练，得到目标Transformer模型。利用吞吐率最高的目标并行训练策略组合对初始Transformer模型进行训练，提高了对模型的训练效率。
-
公开(公告)号：CN114358859A
公开(公告)日：2022-04-15
申请号：CN202210277082.9
申请日：2022-03-21
Applicant: 北京大学
Abstract: 本发明公布了一种用于点击率预测的基于图的大规模embedding模型训练方法及系统，系统包括密集参数模块和客户端模块，采用混合通信架构，将点击率预测输入数据集分配给不同工作节点，每个工作节点维护一个客户端，本地模型参数均直接存储在GPU内存中；每个工作节点均持有模型参数副本，并在训练时进行同步。本发明采用Embedding模型参数表示点击率预测输入数据对应类别特征值的重要性，将点击率预测数据和embedding模型向量表示为二元图模型，利用图局部性和度数偏斜特性执行模型并行训练；设计基于图的分区和有界同步，提高训练大型embedding模型的可扩展性和并行计算效率。
-
-
-
-
Search Results
5
records
(took 0.013 seconds)
