-
公开(公告)号:CN118036668B
公开(公告)日:2024-06-07
申请号:CN202410443128.9
申请日:2024-04-12
Applicant: 之江实验室
IPC: G06N3/0455 , G06N3/08 , G06N5/04
Abstract: 本说明书公开了一种面向GPT模型的综合评测方法,获取待测GPT模型,确定所述待测GPT模型的训练推理环境,根据所述训练推理环境,确定所述待测GPT模型的理论性能,利用所述待测GPT模型执行各测试任务,根据所述待测GPT模型执行各测试任务的执行过程以及所述理论性能,确定所述待测GPT模型执行各测试任务时的执行性能,并,根据所述待测GPT模型执行各测试任务的推理结果,确定所述待测GPT模型的推理能力,根据所述执行性能以及所述推理能力,确定所述待测GPT模型的测试结果,可使用户在不进行模型训练的情况下,对不同的GPT模型的性能与能力拥有更清晰、直观的了解,方便用户选择GPT模型以满足自身需要。
-
公开(公告)号:CN117032999B
公开(公告)日:2024-01-30
申请号:CN202311298504.1
申请日:2023-10-09
Applicant: 之江实验室
IPC: G06F9/50
Abstract: 本说明书公开了一种基于异步运行时的CPU‑GPU协同调度方法及装置,确定待执行任务,将所述待执行任务分解成包含若干子任务的子任务队列,针对每个子任务,根据执行该子任务所需的计算资源类型,确定用于执行该子任务的处理器类型,当要执行该子任务时,将该子任务调度至与该子任务的处理器类型对应的处理器执行。该方法提供的协同调度方法,能够将待执行子任务分解成子任务队列,并将队列中获得的待执行子任务合理的调度到CPU和GPU处理器上执行,通过避免和减少CPU、GPU的空闲时间,做到高效地利用CPU和GPU协同计算资源,获得对整体计算资源的更高利用效能,以解决现有技术中存在的CPU、GPU计算资源空闲率高,但资源占用时间长的问题。
-
公开(公告)号:CN116095083B
公开(公告)日:2023-12-26
申请号:CN202310089750.X
申请日:2023-01-16
Applicant: 之江实验室
IPC: H04L67/1001 , H04L41/0896
Abstract: 本说明书公开了一种计算方法、系统、装置、存储介质及电子设备。执行计算方法的控制系统用于控制若干从域中的计算节点进行计算,处于同一预设地理范围内的各计算节点属于同一从域。该方法包括:分别监控若干从域的负载指标,当存在负载指标达到预设上限的从域时,向云端请求新增计算节点,接收云端返回的新增的计算节点的标识,并新建从域,更新从域的负载均衡配置,以根据该负载均衡配置,为新建从域后的各从域分配网络流量,使新建从域后的各从域根据被分配的网络流量,执行服务。能够在监控到从域的负载指标达到预设上限时新建从域扩容,并更新负载均衡配置进行网络流量的分流,实现负载均衡。
-
公开(公告)号:CN115242877B
公开(公告)日:2023-01-24
申请号:CN202211148298.1
申请日:2022-09-21
Applicant: 之江实验室
IPC: H04L67/60 , H04L67/10 , H04L67/2895 , H04L67/06
Abstract: 本发明公开了面向多K8s集群的Spark协同计算、作业方法及装置,针对目前多K8s集群大多采用联邦集群的模式,而Spark自身的调度和优化的方法不能跨域实现的问题,通过实现跨域协同中心,将多K8s集群设置为主集群和从集群,主集群负责创建Spark的Driver容器和Pod,从集群负责创建Spark的Executor容器和Pod。在创建容器之后,通过协同中心汇聚地址信息和访问凭证,在主集群和从集群之间建立直联的隧道,并通过隧道实现从集群中的容器向Driver注册并持续发送心跳报文。Driver在注册完成之后,可以通过隧道下发执行任务,并通过窄/宽等不同的数据依赖关系,实现在不同集群的最优调度。
-
公开(公告)号:CN115242877A
公开(公告)日:2022-10-25
申请号:CN202211148298.1
申请日:2022-09-21
Applicant: 之江实验室
IPC: H04L67/60 , H04L67/10 , H04L67/2895 , H04L67/06
Abstract: 本发明公开了面向多K8s集群的Spark协同计算、作业方法及装置,针对目前多K8s集群大多采用联邦集群的模式,而Spark自身的调度和优化的方法不能跨域实现的问题,通过实现跨域协同中心,将多K8s集群设置为主集群和从集群,主集群负责创建Spark的Driver容器和Pod,从集群负责创建Spark的Executor容器和Pod。在创建容器之后,通过协同中心汇聚地址信息和访问凭证,在主集群和从集群之间建立直联的隧道,并通过隧道实现从集群中的容器向Driver注册并持续发送心跳报文。Driver在注册完成之后,可以通过隧道下发执行任务,并通过窄/宽等不同的数据依赖关系,实现在不同集群的最优调度。
-
公开(公告)号:CN118036668A
公开(公告)日:2024-05-14
申请号:CN202410443128.9
申请日:2024-04-12
Applicant: 之江实验室
IPC: G06N3/0455 , G06N3/08 , G06N5/04
Abstract: 本说明书公开了一种面向GPT模型的综合评测方法,获取待测GPT模型,确定所述待测GPT模型的训练推理环境,根据所述训练推理环境,确定所述待测GPT模型的理论性能,利用所述待测GPT模型执行各测试任务,根据所述待测GPT模型执行各测试任务的执行过程以及所述理论性能,确定所述待测GPT模型执行各测试任务时的执行性能,并,根据所述待测GPT模型执行各测试任务的推理结果,确定所述待测GPT模型的推理能力,根据所述执行性能以及所述推理能力,确定所述待测GPT模型的测试结果,可使用户在不进行模型训练的情况下,对不同的GPT模型的性能与能力拥有更清晰、直观的了解,方便用户选择GPT模型以满足自身需要。
-
公开(公告)号:CN116032928B
公开(公告)日:2023-07-04
申请号:CN202310309383.X
申请日:2023-03-22
Applicant: 之江实验室
IPC: H04L67/10
Abstract: 本申请涉及一种数据协同计算方法、装置、系统、电子装置和存储介质,其中,该数据协同计算方法包括:获取目标任务,以及目标任务的配置文件,配置文件包括执行目标任务所需的配置信息;根据目标任务、配置文件以及多个单域云的资源信息,确定多个子任务以及每一子任务的执行单域云;将多个子任务分配至对应的执行单域云中。通过本申请,解决了跨域数据的处理效率低的问题,提高了数据协同计算的效率。
-
公开(公告)号:CN119597453A
公开(公告)日:2025-03-11
申请号:CN202411577312.9
申请日:2024-11-06
Applicant: 之江实验室
IPC: G06F9/50 , G06F18/2411 , G06F18/214 , G06F18/232
Abstract: 本说明书公开了一种任务调度方法、装置、介质及设备。获取计算任务的任务描述信息。将任务描述信息输入预先训练的第一预测模型,得到第一预测模型输出的计算任务的第一执行时间。根据任务描述信息与第一执行时间,确定计算任务的资源调度策略。根据资源调度策略以及任务描述信息,执行计算任务。确定计算任务执行过程中的资源利用信息,并根据资源利用信息,确定计算任务的第二执行时间。根据第二执行时间,对计算任务的资源调度策略进行调整,以根据调整后的资源调度策略,继续执行计算任务。通过对计算任务的资源调度策略进行动态调整,提高计算资源的利用效率与计算任务的执行效率。
-
公开(公告)号:CN116310165A
公开(公告)日:2023-06-23
申请号:CN202310100221.5
申请日:2023-02-06
Applicant: 之江实验室
Abstract: 本说明书公开了一种三维地图的构建方法及装置,可以接收地图构建指令,而后,创建并运行监听容器以及创建目标任务,目标任务用于拆分三维地图的构建任务来得到各子构建任务,继而,根据监听容器的任务状态监听接口,监听目标任务是否完成,若确定目标任务完成,从目标集群中确定至少部分数据处理设备,并将得到的各子构建任务分配给至少部分数据处理设备,以使每个数据处理设备在接收到分配给自身的子构建任务后,根据获取到的用于执行分配给自身的子构建任务所需的二维图像数据,构建出局部三维地图;若根据监听容器的任务状态监听接口,确定各子构建任务均已完成,将各局部三维地图进行融合,以得到三维地图,从而提高了三维地图构建的效率。
-
公开(公告)号:CN116095083A
公开(公告)日:2023-05-09
申请号:CN202310089750.X
申请日:2023-01-16
Applicant: 之江实验室
IPC: H04L67/1001 , H04L41/0896
Abstract: 本说明书公开了一种计算方法、系统、装置、存储介质及电子设备。执行计算方法的控制系统用于控制若干从域中的计算节点进行计算,处于同一预设地理范围内的各计算节点属于同一从域。该方法包括:分别监控若干从域的负载指标,当存在负载指标达到预设上限的从域时,向云端请求新增计算节点,接收云端返回的新增的计算节点的标识,并新建从域,更新从域的负载均衡配置,以根据该负载均衡配置,为新建从域后的各从域分配网络流量,使新建从域后的各从域根据被分配的网络流量,执行服务。能够在监控到从域的负载指标达到预设上限时新建从域扩容,并更新负载均衡配置进行网络流量的分流,实现负载均衡。
-
-
-
-
-
-
-
-
-