一种基于纠删码的节点修复方法及相关设备

    公开(公告)号:CN119011080A

    公开(公告)日:2024-11-22

    申请号:CN202411004819.5

    申请日:2024-07-25

    Abstract: 本申请实施例提供了一种基于纠删码的节点修复方法及相关设备,用于解决纠删码节点修复速度慢以及缺乏调度框架的问题。本申请实施例方法包括:获取用户上传的待修复数据;确定待修复故障块所在的待修复条带,选择帮助块;确定修复条带,选择待请求节点;构建修复有向无环图,设置修复有向无环图的顶点及修复边;根据动态权重映射算法,于映射集合中对每个顶点执行映射,记录映射后负载最小的帮助节点和待请求节点;基于切片的链路资源分配算法将所有修复有向无环图中确定的目标帮助节点的目标帮助块以及目标修复链路,并按照目标修复链路对目标帮助块进行切片,得到切片帮助块,以根据切片帮助块及目标修复链路完成待修复故障块的节点修复。

    目标不可纠正故障预测模型训练方法以及相关设备

    公开(公告)号:CN118885349A

    公开(公告)日:2024-11-01

    申请号:CN202410907218.9

    申请日:2024-07-08

    Abstract: 本申请实施例公开了一种目标不可纠正故障预测模型训练方法以及相关设备,用于在可以及时且准确预测内存不可纠故障的情况下,进行目标不可纠正故障预测模型训练。本申请实施例方法包括:获得内存的初始时间窗口的内存日志样本,对初始时间窗口的内存日志样本进行目标时间窗口的各个维度指标的可纠故障特征抽取,得到目标时间窗口的可纠故障特征样本,由目标不可纠正故障预测模型对目标时间窗口的可纠故障特征样本进行不可纠故障发生规律的分析,以得到预测不可纠故障识别结果,当预测不可纠故障识别结果与标注的不可纠故障识别结果之间的损失满足收敛条件时,得到训练完成的目标不可纠正故障识别模型。

    一种基于数据迁移的数据管理方法及相关设备

    公开(公告)号:CN118312472A

    公开(公告)日:2024-07-09

    申请号:CN202410490129.9

    申请日:2024-04-23

    Abstract: 本申请实施例提供了一种基于数据迁移的数据管理方法及相关设备,用于将具有相关性的数据块进行整理,以尽可能提高迁移效率。本申请实施例方法包括:获取第一待管理文件和第二待管理文件;其中,所述第一待管理文件包括对应不同类别的第一待分类数据块,所述第二待管理文件包括对应不同类别的第二待分类数据块;确定所述第一待分类数据块于所述第一待管理文件的第一标签分类结果;基于所述第一标签分类结果,确定所述第二待分类数据块于所述第二待管理文件的第二标签分类结果;根据所述第二标签分类结果对所述第一待分类数据块及所述第二待分类数据块进行聚类整理,确定存在关联的目标数据块,以将所述目标数据块进行迁移存储。

    节点修复方法及相关设备
    4.
    发明公开

    公开(公告)号:CN117097746A

    公开(公告)日:2023-11-21

    申请号:CN202311058784.9

    申请日:2023-08-22

    Abstract: 本申请实施例提供了一种节点修复方法及相关设备,用于解决分布式存储系统下修复多个节点所带来的网络传输问题。本申请实施例方法包括:获取分布式存储系统中的所有数据节点;其中,所有数据节点包括故障节点及幸存节点;将幸存节点进行调度分组,其中,任一组次中的幸存节点为成对存在;将同一组次中的幸存节点进行归并操作,以将当前幸存节点中的节点修复数据传输至同一组次中的其他幸存节点,形成节点修复块;其中,节点修复块由其他幸存节点的节点修复数据及当前幸存节点的节点修复数据形成;将任一组次中的节点修复块传输至故障节点,对故障节点进行修复,以使得故障节点根据节点修复块完成故障修复。

    联邦学习的通信开销压缩方法、装置、设备及介质

    公开(公告)号:CN114422606A

    公开(公告)日:2022-04-29

    申请号:CN202210249791.6

    申请日:2022-03-15

    Abstract: 本申请公开了一种联邦学习的通信开销压缩方法、装置、设备及介质,包括:根据联邦学习中的模型参数在训练前后的变化幅度确定基本参数,并将基本参数所在的卷积核中的所有模型参数确定为待传输参数;基于卷积核的目标特征将卷积核中的待传输参数封装至不同数据包中;对不同数据包中的待传输参数进行二值量化,并对待传输参数对应的索引进行位置编码,如此一来,由于一个卷积核内所有待传输参数的位置信息都是固定的,因此一个索引可以反应整个卷积核中所有待传输参数的位置信息,一定程度上降低了索引的通信开销,同时,本申请通过对待传输参数进行量化,对待传输参数对应的索引进行位置编码,进一步减少了通信开销。

    面向时序浮点数据的有损压缩方法、解压方法及设备

    公开(公告)号:CN116996077A

    公开(公告)日:2023-11-03

    申请号:CN202310953173.4

    申请日:2023-07-31

    Abstract: 本申请实施例公开了面向时序浮点数据的有损压缩方法、解压方法及设备,用于提升时序浮点数据的数据压缩率以及解压速度。本申请实施例方法包括:获取浮点数组,浮点数组包括依时序排列的多个浮点数据;依次将浮点数组中其他浮点数据确定为目标浮点数据,并从浮点数组中确定目标浮点数据的前一浮点数据;将目标浮点数据与前一浮点数据之差,确定为目标浮点数据的差量数据;基于预设误差界对差量数据进行量化处理,获得目标浮点数据对应的量化差量数据,目标浮点数据对应的有损数据与目标浮点数据之差不大于预设误差界,目标浮点数据对应的有损数据通过对目标浮点数据对应的量化差量数据执行反差量化处理得到;对每个量化差量数据进行压缩处理。

Patent Agency Ranking