-
公开(公告)号:CN104932836B
公开(公告)日:2018-06-26
申请号:CN201510298870.6
申请日:2015-05-31
Applicant: 上海交通大学
Abstract: 本发明提供了一种提高单写性能的三盘容错编码和解码方法,本发明编码方法使用原始数据和校验公式生成三种冗余校验元素,分别为行校验、斜校验和反向斜校验元素,使得编码后的磁盘上存在着四种类型的元素:数据元素,行校验元素,斜校验元素,反向斜校验元素,本发明的解码方法是指当磁盘阵列中出现任意三块磁盘同时失效时,可以通过恢复算法和冗余校验元素,将失效磁盘上的数据进行解码恢复,解码方法基于前者的编码结构来实施,本发明能够在保证数据可靠性的基础上,克服现有编码在单写性能上的不足,是一种新型MDS三盘容错编码和解码方法,可以恢复存储系统中任意三块失效磁盘上的数据,在保证数据可靠性的同时,显著提升存储系统的单写性能。
-
公开(公告)号:CN104881372A
公开(公告)日:2015-09-02
申请号:CN201510299943.3
申请日:2015-05-31
Applicant: 上海交通大学
Abstract: 本发明提供了一种提高RAID-6可扩展性的数据迁移方法,根据对单个/多个条带的全局,实现数据迁移最小化和校验的修改与计算,该方法通过减少修改校验的次数,异或计算的次数,总共的I/O操作的次数以及迁移时间来加速RAID-6的扩展过程;该方法使I/O在磁盘阵列中的磁盘上均匀分布,减少了迁移时间。
-
公开(公告)号:CN104881365A
公开(公告)日:2015-09-02
申请号:CN201510291852.5
申请日:2015-05-31
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于纠删码相似性的RAID-6可扩展方法,本发明提出了一整套框架,用于扩展基于MDS编码的RAID-6冗余磁盘阵列,它统一地管理多种MDS编码,以此来达到更高的扩展性,在这个框架中,我们还设计了一系列中间编码,这些中间编码相互间非常容易转换,同时具有各个MDS编码的特性,成为将这些MDS编码联系在一起的纽带,本发明能支持灵活、高效的磁盘阵列规模扩展,与传统的RAID扩展方案相比,该方法减少了多达44.1%的IO数量,减少95.2%的时间消耗,将数据迁移速度提升了20倍。
-
-
公开(公告)号:CN104834609B
公开(公告)日:2017-12-22
申请号:CN201510289987.8
申请日:2015-05-31
Applicant: 上海交通大学
IPC: G06F12/121
Abstract: 本发明提供了一种基于历史升降级频率的多级缓存方法,本发明基于数据块的历史隐示信息,而历史隐示信息是多级缓存系统的精髓之一,通过隐示频率,能够有效地识别出热数据块,并使其在更高级的缓存中能更长久地保存,增大了系统的数据块命中率,减少了平均反应时间;本发明将传统的LRU栈分为两个专用的队列,使得隐示信息具有局部性,避免了冷热数据块混杂,减少了各级缓存之间的带宽的使用;本发明通过有效地识别热数据块,该算法使得热数据块在高级缓存中能长时间地保存,减少了各级缓存之间的降级、升级操作,进一步减小了各级缓存之间的带宽消耗;本发明的空间消耗非常小,为各种负载下系统更好的读写性能打下了基础。
-
公开(公告)号:CN104932836A
公开(公告)日:2015-09-23
申请号:CN201510298870.6
申请日:2015-05-31
Applicant: 上海交通大学
Abstract: 本发明提供了一种提高单写性能的三盘容错编码和解码方法,本发明编码方法使用原始数据和校验公式生成三种冗余校验元素,分别为行校验、斜校验和反向斜校验元素,使得编码后的磁盘上存在着四种类型的元素:数据元素,行校验元素,斜校验元素,反向斜校验元素,本发明的解码方法是指当磁盘阵列中出现任意三块磁盘同时失效时,可以通过恢复算法和冗余校验元素,将失效磁盘上的数据进行解码恢复,解码方法基于前者的编码结构来实施,本发明能够在保证数据可靠性的基础上,克服现有编码在单写性能上的不足,是一种新型MDS三盘容错编码和解码方法,可以恢复存储系统中任意三块失效磁盘上的数据,在保证数据可靠性的同时,显著提升存储系统的单写性能。
-
公开(公告)号:CN106407226B
公开(公告)日:2019-09-13
申请号:CN201510468057.9
申请日:2015-07-31
IPC: G06F16/174 , G06F11/16
Abstract: 本发明公开了一种数据处理方法、备份服务器及存储系统,用于解决因指纹比对消耗大量I/O资源导致数据存储的效率较低的问题。该数据处理方法包括:根据指纹索引表中的索引指纹以及待存储数据块的指纹确定第一指纹集合;根据所述第一索引指纹获得第一指纹表中包含有与所述待存储数据块的指纹相同的指纹的第一概率,并根据所述第二索引指纹获得所述第二指纹表中包含有与所述待存储数据块的指纹相同的指纹的第二概率;根据所述第一概率和第二概率确定第二指纹集合;获得所述第一索引指纹所代表的多个指纹与所述待存储数据块的指纹的匹配结果。
-
公开(公告)号:CN106293526A
公开(公告)日:2017-01-04
申请号:CN201610637554.1
申请日:2016-08-05
Applicant: 上海交通大学
IPC: G06F3/06
CPC classification number: G06F3/061 , G06F3/064 , G06F3/0689
Abstract: 本发明公开了一种三盘容错阵列的可扩展方法及系统,该方法包括如下步骤:准备阶段,从存储系统中收集相关的参数,为接下来的两个阶段计算必要的参数;迁移阶段,选择一部分条带作为条带集,并且根据准备阶段中计算出的参数,在每个条带中选出一些数据行,用来迁移至新加的磁盘中;合并阶段,将空的条带聚合,通过本发明,可以确保扩展后数据分布是均衡的,扩展过程中的I/O开销较小。
-
-
-
-
-
-
-
-