-
公开(公告)号：CN119621355B
公开(公告)日：2025-05-13
申请号：CN202510162976.7
申请日：2025-02-14
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F9/50
Abstract: 本发明公开了计算机技术领域内的一种异构系统中分布式任务内存分配方法、设备、介质及产品。本发明在不降低各个异构算力设备计算性能的最小访存带宽的约束下，针对参与同一分布式任务的多个异构算力设备实现了内存分配，既能保证各个异构算力设备执行分布式任务时的计算性能，又能完成内存分配，从而在异构系统中在平衡内存特性和算力设备计算能力的前提下实现了合理的内存分配，能够充分利用异构算力设备的计算性能，加速分布式任务处理效率。
-
公开(公告)号：CN119621355A
公开(公告)日：2025-03-14
申请号：CN202510162976.7
申请日：2025-02-14
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F9/50
Abstract: 本发明公开了计算机技术领域内的一种异构系统中分布式任务内存分配方法、设备、介质及产品。本发明在不降低各个异构算力设备计算性能的最小访存带宽的约束下，针对参与同一分布式任务的多个异构算力设备实现了内存分配，既能保证各个异构算力设备执行分布式任务时的计算性能，又能完成内存分配，从而在异构系统中在平衡内存特性和算力设备计算能力的前提下实现了合理的内存分配，能够充分利用异构算力设备的计算性能，加速分布式任务处理效率。
-
公开(公告)号：CN119149210B
公开(公告)日：2025-03-14
申请号：CN202411667145.7
申请日：2024-11-21
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明公开了一种基于分离式内存系统的内存调度方法、系统以及产品，涉及内存调度技术领域。根据当前任务的需求参数和分离式内存系统的实际运行参数确定当前任务访问的目标内存设备，在实际部署内存设备之前，根据当前任务的执行的需求参数，实现对应不同任务的需求参数与分离式内存系统的实际运行参数初步确定当前任务待访问的目标内存设备。为了减小当前任务对应的访问时延，通过当前任务对应的目标计算加速器的历史调用次数和访问时延预估当前目标内存设备的访问代价，根据访问代价确定当前任务的调度内存设备，使每个任务对应的目标计算加速器访问的调度内存设备的访问代价较小，提高当前任务的目标计算加速器的访问执行效率。
-
公开(公告)号：CN117971630B
公开(公告)日：2024-06-28
申请号：CN202410382408.3
申请日：2024-04-01
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F11/34 , G06F9/445 , G06F18/214
Abstract: 本发明公开了一种异构计算平台及其任务仿真与耗时预测方法、装置、设备，应用于异构计算领域。其中，方法包括获取异构计算平台采用层间并行方式执行目标任务的任务配置信息；调用预先构建的子任务训练耗时确定模型，根据任务配置信息中的目标任务特征确定各目标算力的子任务训练耗时信息。根据各目标算力的子任务训练耗时信息、任务配置信息中各子任务对应的目标算力及相应处理顺序，对采用层间并行方式执行目标任务的过程进行仿真，最后根据仿真结果确定目标任务的训练耗时预测结果。本发明可以解决相关技术并行训练任务的训练耗时无法精准预测的问题，能够实现精准预测层间并行训练任务的训练耗时。
-
公开(公告)号：CN117155791B
公开(公告)日：2024-02-13
申请号：CN202311423735.0
申请日：2023-10-31
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L41/0894 , H04L41/14 , H04L41/12 , H04L41/0803 , H04L67/10
Abstract: 本发明公开了一种基于集群拓扑结构的模型部署方法、系统、设备及介质，涉及服务器集群领域，为解决跨中央处理器通信影响通信效率的问题，该方法包括基于服务器集群的配置信息生成拓扑结构树；按拓扑结构树确定各个中央处理器节点对应的算力，基于算力获取最优划分部署方案；按最优划分部署方案对预设模型按其网络层进行划分得到多个模型模块，将各个模型模块部署在各个中央处理器节点下的各个设备节点上，以使服务器集群的各个设备节点之间的通信开销最小。本发明能够使得跨中央处理器节点通信的数据量最小，以提升服务器集群中各个带宽
-
Patent Agency Ranking
公开(公告)号：CN116956756B
公开(公告)日：2024-02-09
申请号：CN202311220752.4
申请日：2023-09-21
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明涉及深度学习技术领域，并公开了模型部署方法、任务处理方法、装置、设备及存储介质，通过仿真模拟，计算出每一个分组划分策略下的每个组内并行策略的延迟，基于该延迟则可选出最优设备组划分策略和多个最优组内并行策略，并按照选出的策略进行部署，并记录下模型与设备的映射关系，则可满足延迟要求。又由于模型的部署不是一个模型对应一个设备，而是一个模型并行部署于多个设备之上，且一个设备又对应部署了多个模型。因而，在处理任务时，可以实现同一个模型的任务在多个设备上流水并行处理，不同模型的任务在多个设备上并行处理。即，可以在少量设备上满足延迟要求、提升处(56)对比文件向建军,左继章,白欣.基于多任务并行处理的实时集群计算机系统.系统工程与电子技术.2003,(09),全文.
-
公开(公告)号：CN117155929A
公开(公告)日：2023-12-01
申请号：CN202311423771.7
申请日：2023-10-31
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L67/10 , H04L47/6275
Abstract: 本发明公开了一种分布式集群的通信方法、系统、电子设备及可读存储介质，涉及分布式集群领域，为解决受网络带宽限制使得集群间通信效率低的问题，该通信方法包括：确定分布式集群中的参数更新节点以及多个子集群；针对每一子集群，获取子集群对预设模型的多个阶段依次进行计算得到的多个梯度数据；确定获取到的各个阶段的梯度数据的发送次序；按发送次序从先到后的顺序将梯度数据发送至参数更新节点，以便通过参数更新节点基于梯度数据执行参数更新操作。本发明能够实现对集群间的网络带宽的充分利用，从而提高通信效率。
-
公开(公告)号：CN116680060A
公开(公告)日：2023-09-01
申请号：CN202310961740.0
申请日：2023-08-02
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明涉及多元异构计算技术领域，公开了面向异构计算系统的任务分配方法、装置、设备和介质，获取分布式训练任务的训练信息以及每种类型计算节点的耗时信息；训练信息包括模型信息和硬件信息。基于训练信息、耗时信息以及异构计算系统的网络通信信息，确定出各计算节点的负载耗时；根据各计算节点的负载耗时，确定出各计算节点满足节点耗时均衡条件的单次任务量；依据训练信息以及各计算节点的单次任务量，向各计算节点分配对应的训练任务。在负载均衡时考虑了异构计算系统中不同计算节点的计算性能，同时考虑异构计算系统内的网络资源，使负载均衡的效果更优。实现负载均衡仅调整每个计算节点的单次任务量，不影响分布式训练性能。
-
公开(公告)号：CN116663639A
公开(公告)日：2023-08-29
申请号：CN202310945008.4
申请日：2023-07-31
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本申请公开了一种梯度数据同步方法、系统、装置及介质，涉及神经网络技术领域，解决训练效率低以及模型参数陈旧的问题。该方案预先选中M个工作节点，作为触发节点；在每次迭代过程中，若存在Z个触发节点完成梯度数据计算，触发各个工作节点执行梯度数据聚合操作；根据梯度数据聚合操作得到的聚合结果更新神经网络模型的模型参数。可见，只要有Z个触发节点完成了梯度数据计算就触发各个工作节点执行梯度数据聚合，可减少等待所有加速器计算完一个批次的训练数据后才同步更新模型参数所需的时间，避免占用加速器的计算资源。此外，选择M个节点作为触发节点还可以减少模型参数陈旧性的问题，提高训练效率。
-
公开(公告)号：CN116644803A
公开(公告)日：2023-08-25
申请号：CN202310928131.5
申请日：2023-07-27
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明涉及计算机领域，具体公开了一种分布式协同训练控制方法、系统、装置、设备及存储介质，通过计算节点存储对模型网络的当前次迭代计算中的反向传播计算得到的各层梯度数据，在反向传播计算完毕后再自对应第一层模型网络的梯度数据起依次执行对各层梯度数据的梯度数据聚合操作得到各层聚合梯度数据，在利用接收到的当前次迭代计算的各层聚合梯度数据依次更新模型网络的各层模型参数时，即随着各层模型参数的更新执行对模型网络的下一次迭代计算的前向传播计算，达到下一次迭代计算的前向传播计算和当前次迭代计算的梯度数据聚合操作同时进行的效果，缩短了相邻两次迭代计算的执行时间，进而缩短了整体训练时间，提高了分布式训练效率。
-
-
-
-
-
-
-
-
-
Search Results
49
records
(took 0.04 seconds)
