一种任务处理方法、装置、系统、设备及可读存储介质

    公开(公告)号:CN117094376A

    公开(公告)日:2023-11-21

    申请号:CN202311352992.X

    申请日:2023-10-19

    Abstract: 本发明在计算机应用技术领域公开了一种任务处理方法、装置、系统、设备及可读存储介质,该方法利用会话基础大模型对输入信息进行处理,得到用户意图;将用户意图输入动作状态管理器进行动作分析,得到处理用户意图的动作序列;从工具库中选出与动作序列匹配的目标工具;调用目标工具,执行动作序列中的动作。本发明的技术效果:提供了实现通用人工智能AGI的一个新范式,让智能体学会使用工具,并基于行为/动作作为驱动,将基础模型与现有工具连接起来,从而执行多样化的任务。进一步,可实现通用人工智能的一致性互联,实现功能池的虚拟可扩展,实现现有工具的高效利用,实现现有数据重复利用,提高效率。

    面向异构计算系统的任务分配方法、装置、设备和介质

    公开(公告)号:CN116680060B

    公开(公告)日:2023-11-03

    申请号:CN202310961740.0

    申请日:2023-08-02

    Abstract: 本发明涉及多元异构计算技术领域,公开了面向异构计算系统的任务分配方法、装置、设备和介质,获取分布式训练任务的训练信息以及每种类型计算节点的耗时信息;训练信息包括模型信息和硬件信息。基于训练信息、耗时信息以及异构计算系统的网络通信信息,确定出各计算节点的负载耗时;根据各计算节点的负载耗时,确定出各计算节点满足节点耗时均衡条件的单次任务量;依据训练信息以及各计算节点的单次任务量,向各计算节点分配对应的训练任务。在负载均衡时考虑了异构计算系统中不同计算节点的计算性能,同时考虑异构计算系统内的网络资源,使负载均衡的效果更优。实现负载均衡仅调整每个计算节点的单次任务量,不影响分布式训练性能。

    一种梯度数据同步方法、系统、装置及介质

    公开(公告)号:CN116663639B

    公开(公告)日:2023-11-03

    申请号:CN202310945008.4

    申请日:2023-07-31

    Abstract: 本申请公开了一种梯度数据同步方法、系统、装置及介质,涉及神经网络技术领域,解决训练效率低以及模型参数陈旧的问题。该方案预先选中M个工作节点,作为触发节点;在每次迭代过程中,若存在Z个触发节点完成梯度数据计算,触发各个工作节点执行梯度数据聚合操作;根据梯度数据聚合操作得到的聚合结果更新神经网络模型的模型参数。可见,只要有Z个触发节点完成了梯度数据计算就触发各个工作节点执行梯度数据聚合,可减少等待所有加速器计算完一个批次的训练数据后才同步更新模型参数所需的时间,避免占用加速器的计算资源。此外,选择M个节点作为触发节点还可以减少模型参数陈旧性的问题,提高训练效率。

    一种梯度数据同步方法、系统、电子设备及可读存储介质

    公开(公告)号:CN116962438A

    公开(公告)日:2023-10-27

    申请号:CN202311220016.9

    申请日:2023-09-21

    Abstract: 本发明公开了一种梯度数据同步方法、系统、电子设备及可读存储介质,涉及分布式集群领域,为解决特定逻辑拓扑的方案无法在随机网络中取得好的数据同步性能的问题,该方法包括:获取分布式训练集群的物理拓扑关系及当前数据同步算法对应的逻辑拓扑关系;将物理拓扑关系中的各物理拓扑节点一一映射到逻辑拓扑关系中的各逻辑拓扑节点,得到至少一个映射拓扑关系;计算当前数据同步算法基于每一映射拓扑关系进行梯度数据同步时的通信开销,将通信开销最小的映射拓扑关系确定为最优映射拓扑关系;基于最优映射拓扑关系和当前数据同步算法进行梯度数据同步。本发明能够提高任意一种随机网络中的梯度数据同步通信的效率,提高网络带宽利用率。

    异构计算系统及其算力节点选择方法、装置、设备、介质

    公开(公告)号:CN116954873A

    公开(公告)日:2023-10-27

    申请号:CN202311219994.1

    申请日:2023-09-21

    Abstract: 本发明公开了一种异构计算系统及其算力节点选择方法、装置、设备、介质,应用于计算机技术领域。其中,方法包括当接收到任务执行请求,根据自定义算力节点参数运行待执行任务;利用异构计算系统的各测试算力节点,并为每个测试算力节点配置不同的测试任务参数执行待执行任务的方式,生成多个部署至异构计算系统的测试任务;基于各测试任务的测试结果和自定义算力节点参数,确定使用计算资源最少时的算力调用方案,并基于算力调用方案对自定义算力节点参数进行相应调整。本发明可以解决相关技术算力节点选择不当的弊端问题,在不增加成本的基础上,实现异构计算系统中执行任务的算力节点的最优选择,优化异构计算系统的计算资源利用率。

    多元异构计算系统内节点的建模方法、装置、设备及介质

    公开(公告)号:CN116450486B

    公开(公告)日:2023-09-05

    申请号:CN202310714547.7

    申请日:2023-06-16

    Abstract: 本申请公开了一种多元异构计算系统内节点的建模方法、装置、设备及介质,涉及计算机技术领域。该方法包括:利用测试数据对多元异构计算系统内的异构计算节点进行性能测试得到测试结果数据,并从所述测试结果数据中提取出训练数据;所述训练数据包括训练任务特征、算子特征和计算算子的计算耗时;构建所述异构计算节点对应的初始模型,并利用所述训练数据对所述初始模型进行训练以得到对应的异构计算节点模型,以便所述异构计算节点模型根据待预测训练任务对应的特征参数,模拟异构计算节点运行所述待预测训练任务时的算子级的训练时间线。能够低成本并准确地实现算子级别的工作时间线预测。

    一种梯度数据同步方法及装置

    公开(公告)号:CN116090551B

    公开(公告)日:2023-07-14

    申请号:CN202310202801.5

    申请日:2023-03-06

    Abstract: 本申请公开了一种梯度数据同步方法及装置,涉及深度学习技术领域,包括:比较训练平台的第一个维度上的带宽与第二个维度上的带宽的大小;若带宽比较结果满足预设条件,则比较所述第一个维度上的负载与所述第二个维度上的负载的大小;根据负载比较结果,确定待聚合数据的调度顺序;根据所述调度顺序对所述待聚合数据块执行分层Allreduce操作,得到梯度数据同步结果。该方法能够提高分层Allreduce的整体宽带利用率,提高梯度数据的同步效率。

    一种训练时长预测方法、装置、多元异构计算设备及介质

    公开(公告)号:CN116244159A

    公开(公告)日:2023-06-09

    申请号:CN202310509328.5

    申请日:2023-05-08

    Abstract: 本发明公开了一种训练时长预测方法、装置、多元异构计算设备及介质,涉及模型训练技术领域,该方法包括:获取待预测计算芯片的模型训练信息;其中,待预测计算芯片为需要完成模型训练任务的计算芯片,模型训练信息包括训练任务特征、计算芯片特征和服务器特征中的至少一项;获取待预测计算芯片对应的目标耗时预测模型;根据模型训练信息,利用目标耗时预测模型计算待预测计算芯片的单步训练时长;本发明能够利用计算芯片所要完成的模型训练任务的特征、计算芯片的动态特征和/或计算芯片所在服务器的动态特征,准确地预测计算芯片在单个训练迭代的计算耗时,提高了对计算芯片的模型训练时长预测的准确性。

    一种梯度数据的同步方法、系统、设备及存储介质

    公开(公告)号:CN115665174B

    公开(公告)日:2023-03-14

    申请号:CN202211592818.8

    申请日:2022-12-13

    Abstract: 本申请公开了一种梯度数据的同步方法、系统、设备及存储介质,应用于机器学习技术领域,包括:获取1个批次的训练样本并进行本地深度学习模型的训练,得到本地参数梯度;当自身在未组队状态下接收组队请求时将自身设置为组队状态;按照预设规则从邻居节点集合中选取出1个邻居节点,判断选取出的邻居节点当前是否处于组队状态;如果否,则与其组队;如果是,则重新选取;在将自身设置为组队状态之后,与组队节点进行梯度数据的同步,同步之后将自身恢复为未组队状态,并返回执行训练操作,直至模型训练结束。应用本申请的方案,可以有效地实现去中心化的梯度数据同步,同时降低了通信开销,提高了方案的应用范围。

Patent Agency Ranking