-
公开(公告)号:CN116743550B
公开(公告)日:2023-12-29
申请号:CN202311010096.5
申请日:2023-08-11
Applicant: 之江实验室
IPC: H04L41/0663 , H04L41/0659 , H04L67/1097 , H04L43/10 , H04L43/0817 , H04L43/16
Abstract: 本说明书公开了一种分布式存储集群的故障存储节点的处理方法,存储节点包括一个主服务节点及至少一个备用服务节点,且主服务节点及备用服务节点访问同一存储设备,主服务节点对自身进行心跳检测,并获取心跳检测结果,将所述心跳检测结果写入存储设备,根据心跳检测结果,判断主服务节点自身是否出现异常,若是,则停用主服务节点自身提供的服务,以使备用服务节点根据存储设备中写入的心跳检测结果,确定主服务节点异常时,替换主服务节点,作为更新后的主服务节点提供服务。本方法通过当主服务节点出现故障时,使用备用服务节点替换该主
-
公开(公告)号:CN116743550A
公开(公告)日:2023-09-12
申请号:CN202311010096.5
申请日:2023-08-11
Applicant: 之江实验室
IPC: H04L41/0663 , H04L41/0659 , H04L67/1097 , H04L43/10 , H04L43/0817 , H04L43/16
Abstract: 本说明书公开了一种分布式存储集群的故障存储节点的处理方法,存储节点包括一个主服务节点及至少一个备用服务节点,且主服务节点及备用服务节点访问同一存储设备,主服务节点对自身进行心跳检测,并获取心跳检测结果,将所述心跳检测结果写入存储设备,根据心跳检测结果,判断主服务节点自身是否出现异常,若是,则停用主服务节点自身提供的服务,以使备用服务节点根据存储设备中写入的心跳检测结果,确定主服务节点异常时,替换主服务节点,作为更新后的主服务节点提供服务。本方法通过当主服务节点出现故障时,使用备用服务节点替换该主服务节点,以保持执行任务的效率,避免分布式存储集群频繁进行数据恢复,提高分布式存储集群的可靠性。
-
公开(公告)号:CN117421129A
公开(公告)日:2024-01-19
申请号:CN202311722259.2
申请日:2023-12-14
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于异构存储集群的业务执行方法、装置及电子设备。所述方法包括:获取各异构存储设备对应的性能指标信息以及不同业务与各性能指标之间的映射关系;在接收到业务请求后,确定待执行业务对应的目标性能指标;根据性能指标信息,在各存储设备中选取出满足目标性能指标的各存储设备,作为候选设备;针对每个候选设备,确定该候选设备当前的可用容量和负载均衡权值;根据每个候选设备对应的可用容量和负载均衡权值,在各候选设备中确定出该待执行业务对应的目标存储设备,以根据每个待执行业务对应的目标存储设备执行业务,满足不同业务的应用程序和工作负载的多样性需求。
-
公开(公告)号:CN117389792A
公开(公告)日:2024-01-12
申请号:CN202311712644.9
申请日:2023-12-13
Applicant: 之江实验室
Abstract: 本说明书公开了一种故障排查方法、装置、存储介质及电子设备。在本说明书提供的故障排查方法中,获取用户输入的目标追踪标识;根据追踪标识与业务链路之间的预设的对应关系,确定与所述目标追踪标识对应的目标业务链路;采集所述目标业务链路中包含的各服务的运行数据;根据所述运行数据,确定所述各服务中产生的故障;根据所述故障以及预设的公共字段,生成故障日志并反馈给所述用户,所述公共字段用于表征故障信息。
-
公开(公告)号:CN117555697B
公开(公告)日:2024-04-05
申请号:CN202410043642.3
申请日:2024-01-11
Applicant: 之江实验室
IPC: G06F9/50 , G06F18/214
Abstract: 本说明书公开的一种面向分布式训练的缓存加载系统、方法、装置及设备中,管理节点确定各计算节点对应的数据加载任务,并将待训练模型的向无环图以及数据加载任务发送给各计算节点。然后第一子节点用于负责数据加载,先根据有向无环图确定无依赖关系的计算节点需要的数据并进行加载,再当接受到第二子节点的加载请求时,判断该数据是否被加载过,若是,将加载了该数据的第一子节点的标识发送给该第二子节点,若否,则获取待加载的数据后返回给对应的第二子节点,第二子节点根据第一子节点的返回,获取待加载数据,执行训练任务。减少了计算节点向远计算端数据源的访问,降低了远计算端的I/O口堵塞、资源抢占等状况的出现,提高了模型训练的效率。
-
公开(公告)号:CN117421129B
公开(公告)日:2024-04-02
申请号:CN202311722259.2
申请日:2023-12-14
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于异构存储集群的业务执行方法、装置及电子设备。所述方法包括:获取各异构存储设备对应的性能指标信息以及不同业务与各性能指标之间的映射关系;在接收到业务请求后,确定待执行业务对应的目标性能指标;根据性能指标信息,在各存储设备中选取出满足目标性能指标的各存储设备,作为候选设备;针对每个候选设备,确定该候选设备当前的可用容量和负载均衡权值;根据每个候选设备对应的可用容量和负载均衡权值,在各候选设备中确定出该待执行业务对应的目标存储设备,以根据每个待执行业务对应的目标存储设备执行业务,满足不同业务的应用程序和工作负载的多样性需求。
-
公开(公告)号:CN119202120A
公开(公告)日:2024-12-27
申请号:CN202411688931.5
申请日:2024-11-25
Applicant: 之江实验室
IPC: G06F16/29 , G06F16/22 , G06F40/126
Abstract: 本申请涉及一种地学数据的统一编码方法、装置、计算机设备和存储介质。所述方法包括:获取多模态地学数据,多模态地学数据包括空间位置信息和岩石层信息;设置二维地图网格的网格精度,根据所述网格精度对空间位置信息进行映射编码,得到空间位置信息在二维地图网格中的空间编码;构建岩石地层知识库,包括不同优先级的多个地层单位术语;根据不同优先级的多个地层单位术语,提取所述岩石层信息中的目标字段,对目标字段下存储的地学数据进行哈希编码,得到所述岩石层信息的组数据编码。采用本方法能够通过对空间位置信息进行空间编码,对岩石层信息进行组编码,实现了多模态地学数据的统一编码。
-
公开(公告)号:CN117555697A
公开(公告)日:2024-02-13
申请号:CN202410043642.3
申请日:2024-01-11
Applicant: 之江实验室
IPC: G06F9/50 , G06F18/214
Abstract: 本说明书公开的一种面向分布式训练的缓存加载系统、方法、装置及设备中,管理节点确定各计算节点对应的数据加载任务,并将待训练模型的向无环图以及数据加载任务发送给各计算节点。然后第一子节点用于负责数据加载,先根据有向无环图确定无依赖关系的计算节点需要的数据并进行加载,再当接受到第二子节点的加载请求时,判断该数据是否被加载过,若是,将加载了该数据的第一子节点的标识发送给该第二子节点,若否,则获取待加载的数据后返回给对应的第二子节点,第二子节点根据第一子节点的返回,获取待加载数据,执行训练任务。减少了计算节点向远计算端数据源的访问,降低了远计算端的I/O口堵塞、资源抢占等状况的出现,提高了模型训练的效率。
-
-
-
-
-
-
-