基于纠删码的分布式存储系统的扩容和缩容方法

    公开(公告)号:CN104932835A

    公开(公告)日:2015-09-23

    申请号:CN201510289976.X

    申请日:2015-05-31

    Abstract: 本发明提供了一种基于纠删码的分布式存储系统的扩容和缩容方法,本发明通过扩容或缩容前识别磁盘阵列,检查磁盘阵列中每个磁盘的空闲空间并获得相关参数m和n,计算磁盘阵列中保留、重映射以及重构的OUS/NUS数量,并发地处理保留、重新映射和重构的OUS/NUS,修改所有的校验块,能够支持磁盘阵列的双向扩展,并将扩展过程中所产生的开销降至最低,加速校验阵列的可扩展过程。

    一种提高单写性能的三盘容错编码和解码方法

    公开(公告)号:CN104932836B

    公开(公告)日:2018-06-26

    申请号:CN201510298870.6

    申请日:2015-05-31

    Abstract: 本发明提供了一种提高单写性能的三盘容错编码和解码方法,本发明编码方法使用原始数据和校验公式生成三种冗余校验元素,分别为行校验、斜校验和反向斜校验元素,使得编码后的磁盘上存在着四种类型的元素:数据元素,行校验元素,斜校验元素,反向斜校验元素,本发明的解码方法是指当磁盘阵列中出现任意三块磁盘同时失效时,可以通过恢复算法和冗余校验元素,将失效磁盘上的数据进行解码恢复,解码方法基于前者的编码结构来实施,本发明能够在保证数据可靠性的基础上,克服现有编码在单写性能上的不足,是一种新型MDS三盘容错编码和解码方法,可以恢复存储系统中任意三块失效磁盘上的数据,在保证数据可靠性的同时,显著提升存储系统的单写性能。

    具有最优更新代价的编码及解码方法

    公开(公告)号:CN104866386B

    公开(公告)日:2018-04-27

    申请号:CN201510291851.0

    申请日:2015-05-31

    Abstract: 本发明提供了一种具有最优更新代价的编码及解码方法,利用相互独立的水平、斜向与反斜向校验的编码方案,实现磁盘阵列,使其能容忍至多三块磁盘同时失效,通过合理的编码设计,大幅减少了数据更新代价,从而提升了写入性能,当至多3个磁盘上的数据不可用时,利用其余健康磁盘上存活的原始数据或校验数据,高效恢复出完整数据。

    一种平衡条带写的RAID-6I/O调度方法

    公开(公告)号:CN104866244B

    公开(公告)日:2018-03-06

    申请号:CN201510291854.4

    申请日:2015-05-31

    Abstract: 本发明提供了一种平衡条带写的RAID‑6 I/O调度方法,通过分析写请求的输入输出分布,重组这些请求,从而通过校验共享,将相应校验的修改数量最小化,将输入输出碎片和到来的相同条带中的写请求被聚合成一个新的写请求,并将新的写请求一次性写入磁盘,标记下在重组过程中生成的非法数据块,将非法数据块记录到内存中,将所述非法数据块进行垃圾回收,保存非法数据块的元数据信息用于准备重新分配,可以减少写操作并均衡RAID存储系统中的磁盘负载,本发明基本思想是在对相应校验有全局了解的基础上进行条带写,通过重组数据块的分布,来减少条带写所需修改校验数量。

    基于历史信息的多级缓存方法

    公开(公告)号:CN104866433A

    公开(公告)日:2015-08-26

    申请号:CN201510291853.X

    申请日:2015-05-31

    Abstract: 本发明提供了一种基于历史信息的多级缓存方法,使用历史提示信息来处理数据块,有效地对数据块进行升级和降级处理,有效提升分布式系统的I/O性能。另外,本发明根据数据块最近的k步升级或降级操作,把数据块从低级缓存升级到高级缓存,或从高级缓存降级到低级缓存,与现有的缓存算相比,在不同I/O负载下,本发明达到了更好的性能。

    一种三盘容错阵列的可扩展方法及系统

    公开(公告)号:CN106293526B

    公开(公告)日:2019-04-12

    申请号:CN201610637554.1

    申请日:2016-08-05

    Abstract: 本发明公开了一种三盘容错阵列的可扩展方法及系统,该方法包括如下步骤:准备阶段,从存储系统中收集相关的参数,为接下来的两个阶段计算必要的参数;迁移阶段,选择一部分条带作为条带集,并且根据准备阶段中计算出的参数,在每个条带中选出一些数据行,用来迁移至新加的磁盘中;合并阶段,将空的条带聚合,通过本发明,可以确保扩展后数据分布是均衡的,扩展过程中的I/O开销较小。

    一种提高单写性能的三盘容错编码和解码方法

    公开(公告)号:CN104932836A

    公开(公告)日:2015-09-23

    申请号:CN201510298870.6

    申请日:2015-05-31

    Abstract: 本发明提供了一种提高单写性能的三盘容错编码和解码方法,本发明编码方法使用原始数据和校验公式生成三种冗余校验元素,分别为行校验、斜校验和反向斜校验元素,使得编码后的磁盘上存在着四种类型的元素:数据元素,行校验元素,斜校验元素,反向斜校验元素,本发明的解码方法是指当磁盘阵列中出现任意三块磁盘同时失效时,可以通过恢复算法和冗余校验元素,将失效磁盘上的数据进行解码恢复,解码方法基于前者的编码结构来实施,本发明能够在保证数据可靠性的基础上,克服现有编码在单写性能上的不足,是一种新型MDS三盘容错编码和解码方法,可以恢复存储系统中任意三块失效磁盘上的数据,在保证数据可靠性的同时,显著提升存储系统的单写性能。

    基于校验矩阵的纠删码解码方法

    公开(公告)号:CN104850468A

    公开(公告)日:2015-08-19

    申请号:CN201510290040.9

    申请日:2015-05-31

    Abstract: 本发明提供了一种基于校验矩阵的纠删码解码方法,本发明适用于任意基于异或操作的纠删码,本发明通过对校验矩阵进行解码,从而对解码效率带来非常大的提升。另外,通过构造稀疏校验矩阵的迭代算法,能进一步提升本发明的解码效率。相比于传统的两种实现方法,本发明同时具有通用性和高效性。

    基于校验矩阵的纠删码解码方法

    公开(公告)号:CN104850468B

    公开(公告)日:2018-04-27

    申请号:CN201510290040.9

    申请日:2015-05-31

    Abstract: 本发明提供了一种基于校验矩阵的纠删码解码方法,本发明适用于任意基于异或操作的纠删码,本发明通过对校验矩阵进行解码,从而对解码效率带来非常大的提升。另外,通过构造稀疏校验矩阵的迭代算法,能进一步提升本发明的解码效率。相比于传统的两种实现方法,本发明同时具有通用性和高效性。

    一种三盘容错阵列的可扩展方法及系统

    公开(公告)号:CN106293526A

    公开(公告)日:2017-01-04

    申请号:CN201610637554.1

    申请日:2016-08-05

    CPC classification number: G06F3/061 G06F3/064 G06F3/0689

    Abstract: 本发明公开了一种三盘容错阵列的可扩展方法及系统,该方法包括如下步骤:准备阶段,从存储系统中收集相关的参数,为接下来的两个阶段计算必要的参数;迁移阶段,选择一部分条带作为条带集,并且根据准备阶段中计算出的参数,在每个条带中选出一些数据行,用来迁移至新加的磁盘中;合并阶段,将空的条带聚合,通过本发明,可以确保扩展后数据分布是均衡的,扩展过程中的I/O开销较小。

Patent Agency Ranking