-
公开(公告)号:CN117032999A
公开(公告)日:2023-11-10
申请号:CN202311298504.1
申请日:2023-10-09
Applicant: 之江实验室
IPC: G06F9/50
Abstract: 本说明书公开了一种基于异步运行时的CPU‑GPU协同调度方法及装置,确定待执行任务,将所述待执行任务分解成包含若干子任务的子任务队列,针对每个子任务,根据执行该子任务所需的计算资源类型,确定用于执行该子任务的处理器类型,当要执行该子任务时,将该子任务调度至与该子任务的处理器类型对应的处理器执行。该方法提供的协同调度方法,能够将待执行子任务分解成子任务队列,并将队列中获得的待执行子任务合理的调度到CPU和GPU处理器上执行,通过避免和减少CPU、GPU的空闲时间,做到高效地利用CPU和GPU协同计算资源,获得对整体计算资源的更高利用效能,以解决现有技术中存在的CPU、GPU计算资源空闲率高,但资源占用时间长的问题。
-
公开(公告)号:CN116185596B
公开(公告)日:2023-08-01
申请号:CN202310448223.3
申请日:2023-04-24
Applicant: 之江实验室
Abstract: 本说明书公开了提升广域多集群分布式系统执行任务效率的方法及装置,在广域多集群分布式系统的各子队列中确定待执行任务,再确定该待执行任务的时延、执行该待执行任务的目标集群及该待执行任务所需的资源所在的集群,最后,根据时延将所需的资源调度至目标集群。在广域多集群分布式系统中,由于集群数量较多,各集群之间的物理距离较远,执行分布式任务时,会存在各种时延,降低了执行任务的效率,因此,本方法通过确定广域多集群分布式系统中待执行任务的时延,在执行当前任务的同时,根据该时延将执行该任务的数据提前调度到目标集群,在执行待执行任务时,不再需要等待所需数据的调度,提高了处理广域多集群分布式任务的效率。
-
公开(公告)号:CN116302457A
公开(公告)日:2023-06-23
申请号:CN202310598352.0
申请日:2023-05-25
Applicant: 之江实验室
Abstract: 本说明书公开了一种云原生工作流引擎实现方法、系统、介质及电子设备,方法应用于多集群,包括:先根据用户输入的待执行任务的任务文件,确定待执行任务的调度图,并确定子任务队列。之后,针对子任务队列中的每一个子任务,从多集群中,确定该子任务的调度集群。在执行该子任务时,确定多集群中该子任务的调度集群的资源信息,并根据资源信息以及预设的负载条件,从满足负载条件的调度集群中确定指定集群,并将该子任务发送给指定集群,以使指定集群执行该子任务。当各子任务执行结束时,确定待执行任务的执行结果。使得不同的子任务可以由不同的集群执行,可以更好地执行复杂的、大规模的工作流任务,提高执行速率。
-
公开(公告)号:CN116185596A
公开(公告)日:2023-05-30
申请号:CN202310448223.3
申请日:2023-04-24
Applicant: 之江实验室
Abstract: 本说明书公开了提升广域多集群分布式系统执行任务效率的方法及装置,在广域多集群分布式系统的各子队列中确定待执行任务,再确定该待执行任务的时延、执行该待执行任务的目标集群及该待执行任务所需的资源所在的集群,最后,根据时延将所需的资源调度至目标集群。在广域多集群分布式系统中,由于集群数量较多,各集群之间的物理距离较远,执行分布式任务时,会存在各种时延,降低了执行任务的效率,因此,本方法通过确定广域多集群分布式系统中待执行任务的时延,在执行当前任务的同时,根据该时延将执行该任务的数据提前调度到目标集群,在执行待执行任务时,不再需要等待所需数据的调度,提高了处理广域多集群分布式任务的效率。
-
公开(公告)号:CN116074094A
公开(公告)日:2023-05-05
申请号:CN202310104547.5
申请日:2023-01-18
Applicant: 之江实验室
Abstract: 本说明书公开了一种数据传输的方法、装置、存储介质及电子设备。该数据传输的方法包括:在第一计算集群包含的各节点中选取目标节点,在目标节点上构建第一通信端口,以及,在第二计算集群中的节点上构建第二通信端口,确定为第一通信端口分配的第一通信地址,以及为第二通信端口分配的第二通信地址,将第一通信地址作为源通信地址,并根据所述第二通信地址,确定通信规则,对目标数据进行封装,并根据第二计算集群中的至少部分节点对应的通信地址,确定封装后数据对应的目标通信地址,进而基于通信规则,将封装后数据从源通信地址发送至目标通信地址。
-
公开(公告)号:CN116032928A
公开(公告)日:2023-04-28
申请号:CN202310309383.X
申请日:2023-03-22
Applicant: 之江实验室
IPC: H04L67/10
Abstract: 本申请涉及一种数据协同计算方法、装置、系统、电子装置和存储介质,其中,该数据协同计算方法包括:获取目标任务,以及目标任务的配置文件,配置文件包括执行目标任务所需的配置信息;根据目标任务、配置文件以及多个单域云的资源信息,确定多个子任务以及每一子任务的执行单域云;将多个子任务分配至对应的执行单域云中。通过本申请,解决了跨域数据的处理效率低的问题,提高了数据协同计算的效率。
-
-
-
-
-