-
公开(公告)号:CN104834609B
公开(公告)日:2017-12-22
申请号:CN201510289987.8
申请日:2015-05-31
Applicant: 上海交通大学
IPC: G06F12/121
Abstract: 本发明提供了一种基于历史升降级频率的多级缓存方法,本发明基于数据块的历史隐示信息,而历史隐示信息是多级缓存系统的精髓之一,通过隐示频率,能够有效地识别出热数据块,并使其在更高级的缓存中能更长久地保存,增大了系统的数据块命中率,减少了平均反应时间;本发明将传统的LRU栈分为两个专用的队列,使得隐示信息具有局部性,避免了冷热数据块混杂,减少了各级缓存之间的带宽的使用;本发明通过有效地识别热数据块,该算法使得热数据块在高级缓存中能长时间地保存,减少了各级缓存之间的降级、升级操作,进一步减小了各级缓存之间的带宽消耗;本发明的空间消耗非常小,为各种负载下系统更好的读写性能打下了基础。
-
公开(公告)号:CN104932835A
公开(公告)日:2015-09-23
申请号:CN201510289976.X
申请日:2015-05-31
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于纠删码的分布式存储系统的扩容和缩容方法,本发明通过扩容或缩容前识别磁盘阵列,检查磁盘阵列中每个磁盘的空闲空间并获得相关参数m和n,计算磁盘阵列中保留、重映射以及重构的OUS/NUS数量,并发地处理保留、重新映射和重构的OUS/NUS,修改所有的校验块,能够支持磁盘阵列的双向扩展,并将扩展过程中所产生的开销降至最低,加速校验阵列的可扩展过程。
-
公开(公告)号:CN104866244A
公开(公告)日:2015-08-26
申请号:CN201510291854.4
申请日:2015-05-31
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本发明提供了一种平衡条带写的RAID-6I/O调度方法,通过分析写请求的输入输出分布,重组这些请求,从而通过校验共享,将相应校验的修改数量最小化,将输入输出碎片和到来的相同条带中的写请求被聚合成一个新的写请求,并将新的写请求一次性写入磁盘,标记下在重组过程中生成的非法数据块,将非法数据块记录到内存中,将所述非法数据块进行垃圾回收,保存非法数据块的元数据信息用于准备重新分配,可以减少写操作并均衡RAID存储系统中的磁盘负载,本发明基本思想是在对相应校验有全局了解的基础上进行条带写,通过重组数据块的分布,来减少条带写所需修改校验数量。
-
公开(公告)号:CN104881372A
公开(公告)日:2015-09-02
申请号:CN201510299943.3
申请日:2015-05-31
Applicant: 上海交通大学
Abstract: 本发明提供了一种提高RAID-6可扩展性的数据迁移方法,根据对单个/多个条带的全局,实现数据迁移最小化和校验的修改与计算,该方法通过减少修改校验的次数,异或计算的次数,总共的I/O操作的次数以及迁移时间来加速RAID-6的扩展过程;该方法使I/O在磁盘阵列中的磁盘上均匀分布,减少了迁移时间。
-
公开(公告)号:CN104881365A
公开(公告)日:2015-09-02
申请号:CN201510291852.5
申请日:2015-05-31
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于纠删码相似性的RAID-6可扩展方法,本发明提出了一整套框架,用于扩展基于MDS编码的RAID-6冗余磁盘阵列,它统一地管理多种MDS编码,以此来达到更高的扩展性,在这个框架中,我们还设计了一系列中间编码,这些中间编码相互间非常容易转换,同时具有各个MDS编码的特性,成为将这些MDS编码联系在一起的纽带,本发明能支持灵活、高效的磁盘阵列规模扩展,与传统的RAID扩展方案相比,该方法减少了多达44.1%的IO数量,减少95.2%的时间消耗,将数据迁移速度提升了20倍。
-
公开(公告)号:CN104866244B
公开(公告)日:2018-03-06
申请号:CN201510291854.4
申请日:2015-05-31
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本发明提供了一种平衡条带写的RAID‑6 I/O调度方法,通过分析写请求的输入输出分布,重组这些请求,从而通过校验共享,将相应校验的修改数量最小化,将输入输出碎片和到来的相同条带中的写请求被聚合成一个新的写请求,并将新的写请求一次性写入磁盘,标记下在重组过程中生成的非法数据块,将非法数据块记录到内存中,将所述非法数据块进行垃圾回收,保存非法数据块的元数据信息用于准备重新分配,可以减少写操作并均衡RAID存储系统中的磁盘负载,本发明基本思想是在对相应校验有全局了解的基础上进行条带写,通过重组数据块的分布,来减少条带写所需修改校验数量。
-
公开(公告)号:CN104866433A
公开(公告)日:2015-08-26
申请号:CN201510291853.X
申请日:2015-05-31
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于历史信息的多级缓存方法,使用历史提示信息来处理数据块,有效地对数据块进行升级和降级处理,有效提升分布式系统的I/O性能。另外,本发明根据数据块最近的k步升级或降级操作,把数据块从低级缓存升级到高级缓存,或从高级缓存降级到低级缓存,与现有的缓存算相比,在不同I/O负载下,本发明达到了更好的性能。
-
公开(公告)号:CN104866243A
公开(公告)日:2015-08-26
申请号:CN201510289990.X
申请日:2015-05-31
Applicant: 上海交通大学
Abstract: 本发明提供了一种优化输入输出负载的RAID-6横向斜向校验编码及解码方法,本发明为冗余磁盘阵列系统中纠删码的设计方案,包括了编码的横向与反斜向校验的编码方案,以及当至多两个磁盘失效时,利用校验链进行数据恢复的流程。与现有的双盘容错纠删码相比,本发明通过合理的编码设计,实现最佳的负载均衡,最优存储代价,以及良好的单盘恢复性能。
-
公开(公告)号:CN104834609A
公开(公告)日:2015-08-12
申请号:CN201510289987.8
申请日:2015-05-31
Applicant: 上海交通大学
IPC: G06F12/12
Abstract: 本发明提供了一种基于历史升降级频率的多级缓存方法,本发明基于数据块的历史隐示信息,而历史隐示信息是多级缓存系统的精髓之一,通过隐示频率,能够有效地识别出热数据块,并使其在更高级的缓存中能更长久地保存,增大了系统的数据块命中率,减少了平均反应时间;本发明将传统的LRU栈分为两个专用的队列,使得隐示信息具有局部性,避免了冷热数据块混杂,减少了各级缓存之间的带宽的使用;本发明通过有效地识别热数据块,该算法使得热数据块在高级缓存中能长时间地保存,减少了各级缓存之间的降级、升级操作,进一步减小了各级缓存之间的带宽消耗;本发明的空间消耗非常小,为各种负载下系统更好的读写性能打下了基础。
-
-
-
-
-
-
-
-