-
公开(公告)号：CN116956756B
公开(公告)日：2024-02-09
申请号：CN202311220752.4
申请日：2023-09-21
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明涉及深度学习技术领域，并公开了模型部署方法、任务处理方法、装置、设备及存储介质，通过仿真模拟，计算出每一个分组划分策略下的每个组内并行策略的延迟，基于该延迟则可选出最优设备组划分策略和多个最优组内并行策略，并按照选出的策略进行部署，并记录下模型与设备的映射关系，则可满足延迟要求。又由于模型的部署不是一个模型对应一个设备，而是一个模型并行部署于多个设备之上，且一个设备又对应部署了多个模型。因而，在处理任务时，可以实现同一个模型的任务在多个设备上流水并行处理，不同模型的任务在多个设备上并行处理。即，可以在少量设备上满足延迟要求、提升处(56)对比文件向建军,左继章,白欣.基于多任务并行处理的实时集群计算机系统.系统工程与电子技术.2003,(09),全文.
-
公开(公告)号：CN116843030B
公开(公告)日：2024-01-19
申请号：CN202311118770.1
申请日：2023-09-01
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06N5/04 , G06N3/045 , G06N3/0464 , G06N3/08 , G06T11/60 , G06F40/126 , G06F40/205 , G06F40/30 , G06F40/58
Abstract: 像模态直观且具体地描述因果推理结果。本发明公开了一种基于预训练语言模型的因果图像生成方法、装置及设备，涉及生成式人工智能技术领域，以解决因果图像难以生成的问题，该方法包括：获取待预测图像和问题文本；根据待预测图像和问题文本，利用预训练语言模型编码器，得到图文推理特征；根据待预测图像和图文推理特征，利用图像生成器，生成因果推理图像；本发明通过根据待预测图像和问题文本，利用预训练语言模型编码器，得到图文推理特征，利用预训练语言模型的因果推理能力，生成(56)对比文件莫建文;徐凯亮.结合皮尔逊重构的文本到图像生成模型.桂林电子科技大学学报.2020,(第01期),全文.
-
公开(公告)号：CN117315158A
公开(公告)日：2023-12-29
申请号：CN202311413665.0
申请日：2023-10-30
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06T17/00 , G06T15/20 , G06F16/332 , G06N3/04
Abstract: 本发明公开了一种数据集生成方法、三维内容生成方法、装置、设备及介质，应用于人工智能技术领域。其中，方法包括利用预先基于预训练语言模型微调后的文本问答模型获取三维内容数据集所包含的部件名称信息，获取该数据集中各三维内容在多视角下的二维内容图像。根据部件名称信息和各二维内容图像，基于像素、部件名称、每个三维点之间的对应关系，确定各部件名称对应的所有三维点；根据三维内容数据集中每个三维内容的部件名称及相对应的三维点，得到文本与三维内容部件对应数据集。本发明可以解决相关技术生成的文本与三维内容部件对应数据集的精度和规模均不满足用户需求的问题，能够生成大规模高质量的文本与三维内容部件对应数据集。
-
公开(公告)号：CN117155929A
公开(公告)日：2023-12-01
申请号：CN202311423771.7
申请日：2023-10-31
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L67/10 , H04L47/6275
Abstract: 本发明公开了一种分布式集群的通信方法、系统、电子设备及可读存储介质，涉及分布式集群领域，为解决受网络带宽限制使得集群间通信效率低的问题，该通信方法包括：确定分布式集群中的参数更新节点以及多个子集群；针对每一子集群，获取子集群对预设模型的多个阶段依次进行计算得到的多个梯度数据；确定获取到的各个阶段的梯度数据的发送次序；按发送次序从先到后的顺序将梯度数据发送至参数更新节点，以便通过参数更新节点基于梯度数据执行参数更新操作。本发明能够实现对集群间的网络带宽的充分利用，从而提高通信效率。
-
公开(公告)号：CN116680060A
公开(公告)日：2023-09-01
申请号：CN202310961740.0
申请日：2023-08-02
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明涉及多元异构计算技术领域，公开了面向异构计算系统的任务分配方法、装置、设备和介质，获取分布式训练任务的训练信息以及每种类型计算节点的耗时信息；训练信息包括模型信息和硬件信息。基于训练信息、耗时信息以及异构计算系统的网络通信信息，确定出各计算节点的负载耗时；根据各计算节点的负载耗时，确定出各计算节点满足节点耗时均衡条件的单次任务量；依据训练信息以及各计算节点的单次任务量，向各计算节点分配对应的训练任务。在负载均衡时考虑了异构计算系统中不同计算节点的计算性能，同时考虑异构计算系统内的网络资源，使负载均衡的效果更优。实现负载均衡仅调整每个计算节点的单次任务量，不影响分布式训练性能。
-
Patent Agency Ranking
公开(公告)号：CN116663639A
公开(公告)日：2023-08-29
申请号：CN202310945008.4
申请日：2023-07-31
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本申请公开了一种梯度数据同步方法、系统、装置及介质，涉及神经网络技术领域，解决训练效率低以及模型参数陈旧的问题。该方案预先选中M个工作节点，作为触发节点；在每次迭代过程中，若存在Z个触发节点完成梯度数据计算，触发各个工作节点执行梯度数据聚合操作；根据梯度数据聚合操作得到的聚合结果更新神经网络模型的模型参数。可见，只要有Z个触发节点完成了梯度数据计算就触发各个工作节点执行梯度数据聚合，可减少等待所有加速器计算完一个批次的训练数据后才同步更新模型参数所需的时间，避免占用加速器的计算资源。此外，选择M个节点作为触发节点还可以减少模型参数陈旧性的问题，提高训练效率。
-
公开(公告)号：CN116644803A
公开(公告)日：2023-08-25
申请号：CN202310928131.5
申请日：2023-07-27
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明涉及计算机领域，具体公开了一种分布式协同训练控制方法、系统、装置、设备及存储介质，通过计算节点存储对模型网络的当前次迭代计算中的反向传播计算得到的各层梯度数据，在反向传播计算完毕后再自对应第一层模型网络的梯度数据起依次执行对各层梯度数据的梯度数据聚合操作得到各层聚合梯度数据，在利用接收到的当前次迭代计算的各层聚合梯度数据依次更新模型网络的各层模型参数时，即随着各层模型参数的更新执行对模型网络的下一次迭代计算的前向传播计算，达到下一次迭代计算的前向传播计算和当前次迭代计算的梯度数据聚合操作同时进行的效果，缩短了相邻两次迭代计算的执行时间，进而缩短了整体训练时间，提高了分布式训练效率。
-
公开(公告)号：CN116244159B
公开(公告)日：2023-08-11
申请号：CN202310509328.5
申请日：2023-05-08
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明公开了一种训练时长预测方法、装置、多元异构计算设备及介质，涉及模型训练技术领域，该方法包括：获取待预测计算芯片的模型训练信息；其中，待预测计算芯片为需要完成模型训练任务的计算芯片，模型训练信息包括训练任务特征、计算芯片特征和服务器特征中的至少一项；获取待预测计算芯片对应的目标耗时预测模型；根据模型训练信息，利用目标耗时预测模型计算待预测计算芯片的单步训练时长；本发明能够利用计算芯片所要完成的模型训练任务的特征、计算芯片的动态特征和/或计算芯片所在服务器的动态特征，准确地预测计算芯片在单个训练迭代的计算耗时，提高了对计算芯片的模型训练时长预测的准确性。
-
公开(公告)号：CN115936095A
公开(公告)日：2023-04-07
申请号：CN202310135785.2
申请日：2023-02-20
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06N3/08
Abstract: 本申请涉及分布式模型训练技术领域，公开了一种参数梯度同步方法、装置、设备及存储介质，包括：获取基于分布式训练框架对待训练模型进行线上训练时执行控制逻辑得到的当前执行周期的响应列表；基于参数梯度分组列表对当前执行周期的响应列表中的张量数据进行均衡划分，得到当前执行周期的待融合组列表和暂不融合列表；对当前执行周期的待融合组列表中的各组张量数据进行张量融合及规约处理；将当前执行周期的暂不融合列表中的张量数据与下一个执行周期的响应列表中的张量数据进行合并得到下一个执行周期的新响应列表，以基于新响应列表对下一个执行周期进行张量融合及规约处理。能够提高模型训练过程中的网络带宽利用率及梯度数据同步性能。
-
公开(公告)号：CN111160458B
公开(公告)日：2022-04-22
申请号：CN201911386418.X
申请日：2019-12-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06V10/80 , G06V10/771 , G06V10/82 , G06K9/62 , G06N3/04
Abstract: 本申请公开了一种图像处理系统及其卷积神经网络，该卷积神经网络包括智能密集连接模块，智能密集连接模块包括基本卷积模块和智能注意力模块，基本卷积模块用于对接收到的待处理图像进行卷积运算以得到相应的特征图，然后将特征图传输至与自身输出侧连接的智能注意力模块；智能注意力模块用于获取与自身输入侧连接的基本卷积模块传输的特征图作为输入侧特征图以及获取位于自身位置之前的其它模块传输的特征图作为待融合特征图，并从输入侧特征图的所有通道中筛选出部分通道作为目标通道，然后将目标通道对应的特征图与待融合特征图进行通道叠加以得到新的特征图并输出。通过本申请的上述技术方案，能够减少输入通道数，降低计算量。
-
-
-
-
-
-
-
-
-
Search Results
107
records
(took 0.047 seconds)
