-
公开(公告)号:CN104834609B
公开(公告)日:2017-12-22
申请号:CN201510289987.8
申请日:2015-05-31
Applicant: 上海交通大学
IPC: G06F12/121
Abstract: 本发明提供了一种基于历史升降级频率的多级缓存方法,本发明基于数据块的历史隐示信息,而历史隐示信息是多级缓存系统的精髓之一,通过隐示频率,能够有效地识别出热数据块,并使其在更高级的缓存中能更长久地保存,增大了系统的数据块命中率,减少了平均反应时间;本发明将传统的LRU栈分为两个专用的队列,使得隐示信息具有局部性,避免了冷热数据块混杂,减少了各级缓存之间的带宽的使用;本发明通过有效地识别热数据块,该算法使得热数据块在高级缓存中能长时间地保存,减少了各级缓存之间的降级、升级操作,进一步减小了各级缓存之间的带宽消耗;本发明的空间消耗非常小,为各种负载下系统更好的读写性能打下了基础。
-
公开(公告)号:CN104850468A
公开(公告)日:2015-08-19
申请号:CN201510290040.9
申请日:2015-05-31
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于校验矩阵的纠删码解码方法,本发明适用于任意基于异或操作的纠删码,本发明通过对校验矩阵进行解码,从而对解码效率带来非常大的提升。另外,通过构造稀疏校验矩阵的迭代算法,能进一步提升本发明的解码效率。相比于传统的两种实现方法,本发明同时具有通用性和高效性。
-
公开(公告)号:CN106293525B
公开(公告)日:2019-06-28
申请号:CN201610637529.3
申请日:2016-08-05
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本发明公开了一种提高缓存使用效率的方法及系统,该方法包括:给定一个数值作为分块长度的大小;读取写入的数据流,每读到一个分块长度大小的数据,将其截断,做成一个数据块;计算获得每个数据块的指纹;检查数据块的指纹,当指纹符合某一个指定的特征时,把该数据块作为索引块,对于每一个索引块,检查内存中是否已经存在与其指纹完全相同的数据块,若不存在,将其指纹保存在内存中,赋予其初始热度,并建立一个其所属的容器,若已存在,则增加其热度,而减小其他不相同的数据块的热度,通过本发明,能够用较少的内存尽可能多地节约磁盘空间,减少数据的冗余。
-
公开(公告)号:CN106293525A
公开(公告)日:2017-01-04
申请号:CN201610637529.3
申请日:2016-08-05
Applicant: 上海交通大学
IPC: G06F3/06
CPC classification number: G06F3/0608 , G06F3/0641 , G06F3/0676
Abstract: 本发明公开了一种提高缓存使用效率的方法及系统,该方法包括:给定一个数值作为分块长度的大小;读取写入的数据流,每读到一个分块长度大小的数据,将其截断,做成一个数据块;计算获得每个数据块的指纹;检查数据块的指纹,当指纹符合某一个指定的特征时,把该数据块作为索引块,对于每一个索引块,检查内存中是否已经存在与其指纹完全相同的数据块,若不存在,将其指纹保存在内存中,赋予其初始热度,并建立一个其所属的容器,若已存在,则增加其热度,而减小其他不相同的数据块的热度,通过本发明,能够用较少的内存尽可能多地节约磁盘空间,减少数据的冗余。
-
公开(公告)号:CN104866243A
公开(公告)日:2015-08-26
申请号:CN201510289990.X
申请日:2015-05-31
Applicant: 上海交通大学
Abstract: 本发明提供了一种优化输入输出负载的RAID-6横向斜向校验编码及解码方法,本发明为冗余磁盘阵列系统中纠删码的设计方案,包括了编码的横向与反斜向校验的编码方案,以及当至多两个磁盘失效时,利用校验链进行数据恢复的流程。与现有的双盘容错纠删码相比,本发明通过合理的编码设计,实现最佳的负载均衡,最优存储代价,以及良好的单盘恢复性能。
-
公开(公告)号:CN104834609A
公开(公告)日:2015-08-12
申请号:CN201510289987.8
申请日:2015-05-31
Applicant: 上海交通大学
IPC: G06F12/12
Abstract: 本发明提供了一种基于历史升降级频率的多级缓存方法,本发明基于数据块的历史隐示信息,而历史隐示信息是多级缓存系统的精髓之一,通过隐示频率,能够有效地识别出热数据块,并使其在更高级的缓存中能更长久地保存,增大了系统的数据块命中率,减少了平均反应时间;本发明将传统的LRU栈分为两个专用的队列,使得隐示信息具有局部性,避免了冷热数据块混杂,减少了各级缓存之间的带宽的使用;本发明通过有效地识别热数据块,该算法使得热数据块在高级缓存中能长时间地保存,减少了各级缓存之间的降级、升级操作,进一步减小了各级缓存之间的带宽消耗;本发明的空间消耗非常小,为各种负载下系统更好的读写性能打下了基础。
-
公开(公告)号:CN104850468B
公开(公告)日:2018-04-27
申请号:CN201510290040.9
申请日:2015-05-31
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于校验矩阵的纠删码解码方法,本发明适用于任意基于异或操作的纠删码,本发明通过对校验矩阵进行解码,从而对解码效率带来非常大的提升。另外,通过构造稀疏校验矩阵的迭代算法,能进一步提升本发明的解码效率。相比于传统的两种实现方法,本发明同时具有通用性和高效性。
-
公开(公告)号:CN104881365A
公开(公告)日:2015-09-02
申请号:CN201510291852.5
申请日:2015-05-31
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于纠删码相似性的RAID-6可扩展方法,本发明提出了一整套框架,用于扩展基于MDS编码的RAID-6冗余磁盘阵列,它统一地管理多种MDS编码,以此来达到更高的扩展性,在这个框架中,我们还设计了一系列中间编码,这些中间编码相互间非常容易转换,同时具有各个MDS编码的特性,成为将这些MDS编码联系在一起的纽带,本发明能支持灵活、高效的磁盘阵列规模扩展,与传统的RAID扩展方案相比,该方法减少了多达44.1%的IO数量,减少95.2%的时间消耗,将数据迁移速度提升了20倍。
-
-
-
-
-
-
-