-
公开(公告)号:CN117492984B
公开(公告)日:2025-01-07
申请号:CN202311412727.6
申请日:2023-10-27
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于异构GPU算力感知的子图划分方法、装置及介质,属于图数据处理技术领域。其中方法包括:获取原始图数据G及子图划分目标数量N,根据原始图的节点数和边数,计算整体计算负担;评估每个GPU的算力,结合评估结果设计算力感知的启发式函数,为每个GPU确定目标计算负担;根据每个节点的度数构建加权图Gw;使用图分区算法对加权图Gw完成粗化图的划分,得到子图;根据启发式函数和节点权重,调整不同子图的大小,以完成全部子图的划分。本发明充分考虑不同GPU的算力,来细化调整子图的规模,可以显著提高图计算任务在含有不同算力GPU的集群上的执行效率,以最大化每个GPU的计算潜力。
-
公开(公告)号:CN118484296A
公开(公告)日:2024-08-13
申请号:CN202410461398.2
申请日:2024-04-17
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于GPU算力感知的启发式图分区方法,涉及图数据处理技术,针对现有技术中各个GPU负载不均衡的问题提出本方案。包括以下步骤:对原图进行边分区处理以得到各个GPU的负载子图,所述边分区处理由邻域扩展和模拟退火结合进行;衡量各个GPU子图的计算量,以确定子图训练顶点的分配;对缺失了一定邻域信息的切割顶点补全一跳邻居;分发各个子图到各个GPU上。优点在于,在子图上尽可能地保留原图的结构特征,从而保证训练精度不会有太多损失;加速分区的时间并避免落入局部最优;各个GPU最终的负载子图上的计算量与自身的算力相匹配,从而对整体的并行训练流程实现了加速效果。
-
公开(公告)号:CN117492984A
公开(公告)日:2024-02-02
申请号:CN202311412727.6
申请日:2023-10-27
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于异构GPU算力感知的子图划分方法、装置及介质,属于图数据处理技术领域。其中方法包括:获取原始图数据G及子图划分目标数量N,根据原始图的节点数和边数,计算整体计算负担;评估每个GPU的算力,结合评估结果设计算力感知的启发式函数,为每个GPU确定目标计算负担;根据每个节点的度数构建加权图Gw;使用图分区算法对加权图Gw完成粗化图的划分,得到子图;根据启发式函数和节点权重,调整不同子图的大小,以完成全部子图的划分。本发明充分考虑不同GPU的算力,来细化调整子图的规模,可以显著提高图计算任务在含有不同算力GPU的集群上的执行效率,以最大化每个GPU的计算潜力。
-
公开(公告)号:CN118484296B
公开(公告)日:2025-01-21
申请号:CN202410461398.2
申请日:2024-04-17
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于GPU算力感知的启发式图分区方法,涉及图数据处理技术,针对现有技术中各个GPU负载不均衡的问题提出本方案。包括以下步骤:对原图进行边分区处理以得到各个GPU的负载子图,所述边分区处理由邻域扩展和模拟退火结合进行;衡量各个GPU子图的计算量,以确定子图训练顶点的分配;对缺失了一定邻域信息的切割顶点补全一跳邻居;分发各个子图到各个GPU上。优点在于,在子图上尽可能地保留原图的结构特征,从而保证训练精度不会有太多损失;加速分区的时间并避免落入局部最优;各个GPU最终的负载子图上的计算量与自身的算力相匹配,从而对整体的并行训练流程实现了加速效果。
-
-
-