-
公开(公告)号:CN118504637A
公开(公告)日:2024-08-16
申请号:CN202310158460.6
申请日:2023-02-16
Applicant: 华为技术有限公司
Abstract: 本申请公开了一种基于混合并行方式的模型训练方法、装置以及设备,属于人工智能技术领域。本方法通过将神经网络模型划分为多个流水线分段,每个流水线分段包括神经网络模型的多个子分段,在采用混合并行方式,按照神经网络模型中各个子分段的排序,调用多个流水线分段对应的计算节点,对对应的流水线分段中的网络层迭代训练时,由于相邻流水线分段中相同位置的子分段在神经网络模型中连续,则计算节点无需等待前一流水线分段前向传播完成,只需等待前一流水线分段中的第一个子分段前向传播完成,就能在对应流水线分段进行前向传播,降低了训练过程中计算节点的空闲时长,增加了计算节点的利用率。
-
公开(公告)号:CN116663633A
公开(公告)日:2023-08-29
申请号:CN202210138879.0
申请日:2022-02-15
Applicant: 华为技术有限公司
Abstract: 本申请涉及人工智能领域,公开了一种数据处理方法,方法应用于目标计算节点,其中,目标计算节点所属的计算节点集群可以并行训练超网,超网的训练样本包括第一批batch以及第二batch,且在对超网进行训练的过程中,根据第一batch进行的前向传播过程被配置为在根据第二batch进行的前馈过程之后进行,方法包括:目标计算节点在已完成根据第二输入数据对第二子模型的参数更新的情况下,通过第一子模型处理第一输入数据。本申请可以提升最终训练得到的超网的模型精度以及训练结果的确定性。
-
公开(公告)号:CN113472561B
公开(公告)日:2024-12-24
申请号:CN202010247629.1
申请日:2020-03-31
Applicant: 华为技术有限公司
IPC: H04L41/00 , H04L67/1042 , H04L9/40 , G06Q40/04
Abstract: 本申请实施例公开了一种区块链数据处理方法及其设备,用于区块链的数据处理。本申请实施例方法包括:第一共识节点选举第二共识节点,第一共识节点对应于第N区块,第二共识节点对应于第M区块,M大于N,第一共识节点生成第一共识序列号信息,第一共识序列号信息包括第二共识节点的信息,以使得第一目标节点根据第一共识序列号信息确认第一目标节点属于第二共识节点。本申请实施例中,通过选举不同的共识节点来确认不同的区块,提升了区块链系统的安全性。
-
公开(公告)号:CN113591091A
公开(公告)日:2021-11-02
申请号:CN202010366539.4
申请日:2020-04-30
Applicant: 华为技术有限公司
Abstract: 本申请实施例提供了一种应用程序的处理方法、装置、云环境及存储介质,该方法包括:接收第一客户端发送的启动请求,该启动请求用于启动应用程序。根据启动请求,在飞地的高级语言运行环境中,加载应用程序的舱单文件和应用程序的飞地入口函数与静态依赖类的依赖关系;其中,舱单文件包括:应用程序的飞地入口函数的描述信息,和/或,应用程序的飞地出口函数的描述信息。根据舱单文件和飞地入口函数与静态依赖类的依赖关系,加载应用程序的飞地入口函数的静态依赖类。本申请实施例的方法,可以在保持较小的TCB和攻击面、且又能够减少手动改写代码的工作量的情况下,将应用程序的可信部分运行在飞地中。
-
公开(公告)号:CN115525419A
公开(公告)日:2022-12-27
申请号:CN202110710734.9
申请日:2021-06-25
Applicant: 华为技术有限公司
Abstract: 本申请实施例公开了一种神经网络模型的训练方法、装置及存储介质,属于AI技术领域。在本申请实施例中,当多个训练节点上的当前模型分段不平衡时,训练节点可以根据模型分段更新信息对自身上部署的待更新的模型分段进行调整,以使得各个训练节点上的模型分段能够更优。在调整模型分段之后,根据调整后的模型分段来确定层间数据的存储管理策略。由于训练节点的内存负载主要取决于其上所部属的模型分段以及模型分段的层间数据的存储管理,因此,本申请实施例通过调整模型分段并对调整后的模型分段的层间数据的存储管理策略进行设置,可以使得各个训练节点上的内存负载更平衡,从而提升该分布式训练系统的吞吐量。
-
公开(公告)号:CN113472561A
公开(公告)日:2021-10-01
申请号:CN202010247629.1
申请日:2020-03-31
Applicant: 华为技术有限公司
Abstract: 本申请实施例公开了一种区块链数据处理方法及其设备,用于区块链的数据处理。本申请实施例方法包括:第一共识节点选举第二共识节点,第一共识节点对应于第N区块,第二共识节点对应于第M区块,M大于N,第一共识节点生成第一共识序列号信息,第一共识序列号信息包括第二共识节点的信息,以使得第一目标节点根据第一共识序列号信息确认第一目标节点属于第二共识节点。本申请实施例中,通过选举不同的共识节点来确认不同的区块,提升了区块链系统的安全性。
-
公开(公告)号:CN118277076A
公开(公告)日:2024-07-02
申请号:CN202211729239.3
申请日:2022-12-30
Applicant: 华为技术有限公司
Abstract: 本申请提供一种数据处理方法及装置,涉及计算机领域。该方法应用于包括多个处理器的云服务器,云服务器上运行有多个微型操作系统mOS,多个mOS中各mOS用于控制与其对应的部分处理器。该方法包括:第一mOS中的第一微型飞地mEnclave获取来自客户端的待处理数据;在第一mEnclave确定需要使用硬件加速器来计算待处理数据之后,第一mEnclave通过远程过程调用RPC调用硬件加速器对应的第二mOS中的第二mEnclave,对待处理数据进行计算;第一mOS和第二mOS包含于多个mOS。
-
公开(公告)号:CN115221192A
公开(公告)日:2022-10-21
申请号:CN202110412767.5
申请日:2021-04-16
Applicant: 华为技术有限公司
IPC: G06F16/245 , H04L5/00
Abstract: 本申请提供了一种数据处理方法以及相关设备,第一网络设备向第二网络设备发送的第一信息中包括目标事务和目标事务的时间戳,该第一信息可以指示第二网络设备根据目标事务的时间戳的顺序提交目标事务。进而避免了第二网络设备同一时刻接收到的目标事务产生冲突,进一步减小了第二网络设备的数据处理延迟,提升了第二网络设备的数据处理效率。
-
公开(公告)号:CN113761000A
公开(公告)日:2021-12-07
申请号:CN202010506698.X
申请日:2020-06-05
Applicant: 华为技术有限公司
IPC: G06F16/2457 , G06F21/62 , G16H10/60
Abstract: 本申请提供了一种数据处理的方法、装置、计算设备和存储介质,属于大数据技术领域。该方法包括:根据查询算法,确定输入数据集对应的第一查询输出,根据输入数据集中未被抽样的数据记录的第二查询输出和查询算法,确定输入数据集中被抽样的目标数目条数据记录中每条数据记录对第一查询输出的扰动,获得输入数据集对应的敏感度,未被抽样的数据记录与目标数目条数据记录组成输入数据集,根据敏感度,对第一查询输出加噪声,输出加噪声后的第一查询输出。采用本申请,可以减少敏感度的计算量,提升数据处理的效率。
-
公开(公告)号:CN110622478B
公开(公告)日:2020-11-06
申请号:CN201880004742.8
申请日:2018-04-08
Applicant: 华为技术有限公司
IPC: H04L29/02
Abstract: 本申请提供了一种数据同步处理方法和装置,应用于计算机系统中的主节点,该计算机系统还包括与主节点连接的备节点,该方法包括:通过第一线程获取第一待处理信息,第一待处理信息为第一数据包或第一指示信息,第一指示信息用于指示第一数据包,其中,第一线程为执行非线程安全代码的线程;通过第一线程将第一待处理信息写入缓冲模块;通过第二线程对第一待处理信息执行一致性协商处理,该一致性协商处理用于同步主节点和备节点处理第一数据包的顺序;根据一致性协商处理的结果通过第一线程处理第一数据包。该方法和装置能够使得主节点在进行主备虚拟机的同步处理时利用主虚拟机处理其它任务,提高主节点的性能。
-
-
-
-
-
-
-
-
-