-
公开(公告)号：CN116962176A
公开(公告)日：2023-10-27
申请号：CN202311221193.9
申请日：2023-09-21
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L41/082 , H04L41/0833 , H04L41/0894 , H04L41/0893 , H04L41/16 , H04L41/044
Abstract: 本发明公开了一种分布式集群的数据处理方法、装置、系统及存储介质，应用于人工智能技术领域，为解决现有资源利用率差的问题，提出分布式集群包括具有多种加速器节点的多组加速器节点组，每个加速器节点上部署有神经网络模型的一个子网络层组；该方法应用于加速器节点组中任一加速器节点，通过预先将分布式集群中的多个加速器节点进行分组，得到多组加速器节点组，再针对任一加速器节点采用部署于当前加速器节点的子网络层组对当前待处理数据进行计算处理得到当前计算结果并对子网络层组中的当前网络参数进行更新，以得到神经网络模型中每个子网络层组各自的更新后的网络参数；资源利用率高，利于提高模型参数更新效率以及更好地进行功耗优化。
-
公开(公告)号：CN116955365A
公开(公告)日：2023-10-27
申请号：CN202311220007.X
申请日：2023-09-21
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F16/22 , G06F16/2457 , G06F16/27 , H04L67/1097 , G06F18/214 , G06N3/084
Abstract: 本发明公开了一种梯度数据同步方法、模型训练方法、系统、设备及介质，涉及分布式集群领域，为解决梯度同步过程中通信效率低的问题，该方法包括：获取网络模型的当前网络层的梯度数据，对梯度数据在分布式训练集群的至少一个加速器节点中进行第一阶段梯度同步对应的第一同步操作，得到当前网络层对应的第一同步结果数据；将当前网络层的第一同步结果数据存储到第一阶段梯度同步结果队列；判断是否对所有网络层的梯度数据均完成第一同步操作；若是，对第一阶段梯度同步结果队列中的第一同步结果数据在分布式训练集群的至少一个加速器节点中进行第二阶段梯度同步对应的第二同步操作。本发明能够减少加速器节点之间的通信次数，提高通信效率。
-
公开(公告)号：CN116702885A
公开(公告)日：2023-09-05
申请号：CN202310961731.1
申请日：2023-08-02
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明涉及计算机领域，具体公开了一种同步数据并行训练控制方法、系统、装置、设备及介质，通过在当前次迭代训练中确定各计算节点中的滞后节点，在已完成当前次迭代训练的计算节点中确定对滞后节点的帮算节点，并在帮算节点上分配与滞后节点相同的训练数据进行训练，在得到当前次迭代训练的所有训练数据对应的梯度数据后通知各计算节点结束计算任务并执行梯度数据同步操作，实现了同步数据并行训练，避免对模型引入陈旧性模型参数，保证了模型的收敛速度和精度需求，且能够避免在同步数据并行训练中有计算节点处于空闲状态而有计算节点处于滞后状态的情况下大量拖延迭代训练时间，实现了高训练效率、高模型精度的兼得，充分利用了计算节点资源。
-
公开(公告)号：CN116644006A
公开(公告)日：2023-08-25
申请号：CN202310928102.9
申请日：2023-07-27
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F12/1009
Abstract: 本发明公开了一种内存页面管理方法、系统、装置、设备及计算机介质，涉及内存管理技术领域，获取待访问数据的目标虚拟地址；基于目标虚拟地址在地址转换高速缓存中进行物理地址查找；若在地址转换高速缓存中查找到对应的待访问物理地址，则从待访问物理地址中读取待访问的目标数据；若未在地址转换高速缓存中查找到待访问物理地址，则基于目标虚拟地址在统一编址的多组页表中并行进行物理地址查找，若查找到待访问物理地址，则从待访问物理地址中读取待访问的目标数据；其中，本地内存包括目标节点中的内存，其他内存包括目标节点之外的其他节点中的内存。扩大了目标处理器所能应用的内存，提高了处理器工作负载的效率和性能。
-
公开(公告)号：CN116450486A
公开(公告)日：2023-07-18
申请号：CN202310714547.7
申请日：2023-06-16
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本申请公开了一种多元异构计算系统内节点的建模方法、装置、设备及介质，涉及计算机技术领域。该方法包括：利用测试数据对多元异构计算系统内的异构计算节点进行性能测试得到测试结果数据，并从所述测试结果数据中提取出训练数据；所述训练数据包括训练任务特征、算子特征和计算算子的计算耗时；构建所述异构计算节点对应的初始模型，并利用所述训练数据对所述初始模型进行训练以得到对应的异构计算节点模型，以便所述异构计算节点模型根据待预测训练任务对应的特征参数，模拟异构计算节点运行所述待预测训练任务时的算子级的训练时间线。能够低成本并准确地实现算子级别的工作时间线预测。
-
Patent Agency Ranking
公开(公告)号：CN115495702B
公开(公告)日：2023-04-07
申请号：CN202211430795.0
申请日：2022-11-16
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F17/11 , G06F17/10 , G06F9/50 , G06F18/214
Abstract: 本申请涉及模型训练技术领域，公开了一种模型训练能耗计算方法、装置、系统及可读存储介质，方法包括：获取用于进行模型训练的服务器中参与模型训练的各类设备的个数，并获取服务器对应的碳电信息；采集模型训练的过程中各类设备的运行参数；根据各类设备的个数、各类设备的运行参数及碳电信息，计算模型训练对应的能耗数据。本申请公开的技术方案，通过获取用于进行模型训练的服务器中参与模型训练的各类设备的个数、服务器对应的碳电信息，采集模型训练的过程中各类设备的运行参数，根据各类设备的个数、各类设备的运行参数及碳电信息，实现快速、有效地计算模型训练对应的能耗数据，以为模型训练以及大规模计算产生的能耗评估提供技术参考。
-
公开(公告)号：CN111752713B
公开(公告)日：2022-08-05
申请号：CN202010597645.3
申请日：2020-06-28
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明公开了一种模型并行训练任务负载均衡方法，包括：获取目标模型中各个网络层的数据通信量和理论计算量；确定各个计算设备的理论算力，并根据理论算力和理论计算量得到各个计算设备对应的初始计算量；根据初始计算量，采用多种设备临界层位置划分规则进行负载均衡操作，得到多个初始均衡方案；统计初始均衡方案对应的时间性能参数，并根据时间性能参数在初始均衡方案中确定中间均衡方案；根据数据通信量对中间均衡方案进行调整，得到最终均衡方案；该方法通过理论算力得到初始均衡方案，选择中间方案并进行调整，可以使各个计算设备的负载均衡，提高效率；此外，本发明还提供了一种装置、设备及计算机可读存储介质，也具有上述有益效果。
-
公开(公告)号：CN114020454A
公开(公告)日：2022-02-08
申请号：CN202111257276.4
申请日：2021-10-27
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本申请公开了一种内存管理方法、装置、设备及介质，包括：对异构加速计算系统的主机端的内存和各AI加速器设备的板载内存分别进行切片处理，得到相应的内存切片空间；从全部所述内存切片空间中确定出公共内存切片空间；对全部所述公共内存切片空间进行统一地址空间编址，得到相应的编址空间；在执行人工智能算法计算任务时，将人工智能算法模型部署于所述编址空间，以便各处理器访问所述编址空间中相应的公共内存切片空间，完成所述人工智能算法计算任务。能够突破AI异构加速设备间的内存物理隔离限制，提高异构加速计算系统的计算资源和内存资源利用效率。
-
公开(公告)号：CN111160458A
公开(公告)日：2020-05-15
申请号：CN201911386418.X
申请日：2019-12-29
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本申请公开了一种图像处理系统及其卷积神经网络，该卷积神经网络包括智能密集连接模块，智能密集连接模块包括基本卷积模块和智能注意力模块，基本卷积模块用于对接收到的待处理图像进行卷积运算以得到相应的特征图，然后将特征图传输至与自身输出侧连接的智能注意力模块；智能注意力模块用于获取与自身输入侧连接的基本卷积模块传输的特征图作为输入侧特征图以及获取位于自身位置之前的其它模块传输的特征图作为待融合特征图，并从输入侧特征图的所有通道中筛选出部分通道作为目标通道，然后将目标通道对应的特征图与待融合特征图进行通道叠加以得到新的特征图并输出。通过本申请的上述技术方案，能够减少输入通道数，降低计算量。
-
公开(公告)号：CN110889439A
公开(公告)日：2020-03-17
申请号：CN201911088673.6
申请日：2019-11-08
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本申请公开了一种图像特征提取方法、装置及一种电子设备和计算机可读存储介质，该方法包括：根据训练集的数据大小和目标网络模型中每个网络层的参数计算每个所述网络层的数据计算量；根据GPU和FPGA的基本信息分别计算所述GPU的第一算力和所述FPGA的第二算力；基于每个所述网络层的数据计算量、所述第一算力和第二算力将每个所述网络层分配至所述GPU或所述FPGA中进行计算，得到训练完成的目标网络模型；利用所述训练完成的目标网络模型进行图像特征提取。本申请提供的图像特征提取方法在训练网络模型是采用GPU与FPGA的混合架构，能够提高网络层计算的资源利用率以及网络模型训练的能效比，进而提高图像特征提取效率。
-
-
-
-
-
-
-
-
-
Search Results
107
records
(took 0.048 seconds)
