-
公开(公告)号:CN112835533B
公开(公告)日:2023-02-17
申请号:CN202110213563.9
申请日:2021-02-25
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本申请公开了一种基于机架级别的云存储阵列扩展方法及装置,该方法包括:对扩展存储阵列的输入参数进行计算,得到所述扩展存储阵列的扩展参数;根据所述扩展参数,确定所述扩展存储阵列对应的目标扩展策略;按照所述目标扩展策略,对所述原始存储阵列中的待迁移块进行相应的迁移,并更新对应的校验块。通过实施本申请,能够解决现有技术中存在的不能适用于多维编码扩展场景、扩展迁移效率较低等问题。
-
公开(公告)号:CN112817540B
公开(公告)日:2022-11-04
申请号:CN202110203507.7
申请日:2021-02-23
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本申请公开了一种基于磁盘阵列扩展的数据块重分布方法及装置,该方法包括:获取原始磁盘阵列中各磁盘之间的当前IO访问量;调用神经网络预测模型对所述原始磁盘阵列中每个磁盘的当前IO访问量进行预测,得到每个磁盘对应的预测IO访问量;根据所述预测IO访问量,确定所述原始磁盘阵列中的热访问磁盘;从所述热访问磁盘中选取当前IO访问量超过所述热访问磁盘对应的平均访问量的数据块,作为热访问数据块;按照预设的迁移规则,将所述热访问数据块迁移重写入扩展磁盘阵列的新增磁盘中。通过实施本申请,能够解决现有技术中存在的无法实现IO访问的整体平衡等问题。
-
公开(公告)号:CN112799872B
公开(公告)日:2022-08-12
申请号:CN202110191784.0
申请日:2021-02-19
Applicant: 上海交通大学
Abstract: 本申请公开了一种基于键值对存储系统的纠删码编码方法及装置,该方法包括:获取键值对存储系统中关键字之间的关联关系;根据所述关键字之间的关联关系,从所述键值对存储系统中获取对应的具有强关联性或强时间局限性的至少两个目标数据;将至少两个所述目标数据分到同一编码组中进行编码,得到对应的数据块和校验块;采用负载均衡将得到的所述数据块和所述校验块写入对应的存储节点中。通过实施本申请,能将传统纠删码技术与新型键值对存储系统进行结合设计,同时结合考虑键值对存储系统中的数据间关系,以减少数据访问的次数和时间,提升数据恢复效率。
-
公开(公告)号:CN112783688B
公开(公告)日:2022-06-03
申请号:CN202110184248.8
申请日:2021-02-10
Applicant: 上海交通大学
IPC: G06F11/10
Abstract: 本申请公开了一种基于可用分区级的纠删码数据恢复方法及装置,该方法包括:获取数据恢复请求;响应所述数据恢复请求,在数据恢复过程中若发生节点故障,则确定节点故障类型;根据所述节点故障类型,选择对应的目标恢复策略;根据所述目标恢复策略,恢复所述节点故障对应的节点数据,并实现所述第一节点的丢失数据块的恢复。通过实施本申请,能有效解决数据恢复过程中出现的节点故障问题,减少数据恢复所占的带宽、减少网络延迟,还能加快数据恢复效率,提升数据恢复性能。
-
公开(公告)号:CN112783688A
公开(公告)日:2021-05-11
申请号:CN202110184248.8
申请日:2021-02-10
Applicant: 上海交通大学
IPC: G06F11/10
Abstract: 本申请公开了一种基于可用分区级的纠删码数据恢复方法及装置,该方法包括:获取数据恢复请求;响应所述数据恢复请求,在数据恢复过程中若发生节点故障,则确定节点故障类型;根据所述节点故障类型,选择对应的目标恢复策略;根据所述目标恢复策略,恢复所述节点故障对应的节点数据,并实现所述第一节点的丢失数据块的恢复。通过实施本申请,能有效解决数据恢复过程中出现的节点故障问题,减少数据恢复所占的带宽、减少网络延迟,还能加快数据恢复效率,提升数据恢复性能。
-
公开(公告)号:CN112783661A
公开(公告)日:2021-05-11
申请号:CN202110184307.1
申请日:2021-02-08
Applicant: 上海交通大学
IPC: G06F9/50
Abstract: 本申请公开了一种适用于容器环境下的内存重删方法及装置,该方法包括:获取内存中的所有匿名物理页面;对所有所述匿名物理页面进行轻量级的聚类和维护处理得到等待队列;采用分层采样从所述等待队列中获取至少一个待处理页面;将至少一个所述待处理页面进行比较,确定可归并页面;对所述可归并页面进行归并,并释放所述可归并页面所占的内存空间。通过实施本申请,能够减少页面扫描开销、提升页面归并效率。
-
-
公开(公告)号:CN104866244B
公开(公告)日:2018-03-06
申请号:CN201510291854.4
申请日:2015-05-31
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本发明提供了一种平衡条带写的RAID‑6 I/O调度方法,通过分析写请求的输入输出分布,重组这些请求,从而通过校验共享,将相应校验的修改数量最小化,将输入输出碎片和到来的相同条带中的写请求被聚合成一个新的写请求,并将新的写请求一次性写入磁盘,标记下在重组过程中生成的非法数据块,将非法数据块记录到内存中,将所述非法数据块进行垃圾回收,保存非法数据块的元数据信息用于准备重新分配,可以减少写操作并均衡RAID存储系统中的磁盘负载,本发明基本思想是在对相应校验有全局了解的基础上进行条带写,通过重组数据块的分布,来减少条带写所需修改校验数量。
-
公开(公告)号:CN104866433A
公开(公告)日:2015-08-26
申请号:CN201510291853.X
申请日:2015-05-31
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于历史信息的多级缓存方法,使用历史提示信息来处理数据块,有效地对数据块进行升级和降级处理,有效提升分布式系统的I/O性能。另外,本发明根据数据块最近的k步升级或降级操作,把数据块从低级缓存升级到高级缓存,或从高级缓存降级到低级缓存,与现有的缓存算相比,在不同I/O负载下,本发明达到了更好的性能。
-
公开(公告)号:CN104866243A
公开(公告)日:2015-08-26
申请号:CN201510289990.X
申请日:2015-05-31
Applicant: 上海交通大学
Abstract: 本发明提供了一种优化输入输出负载的RAID-6横向斜向校验编码及解码方法,本发明为冗余磁盘阵列系统中纠删码的设计方案,包括了编码的横向与反斜向校验的编码方案,以及当至多两个磁盘失效时,利用校验链进行数据恢复的流程。与现有的双盘容错纠删码相比,本发明通过合理的编码设计,实现最佳的负载均衡,最优存储代价,以及良好的单盘恢复性能。
-
-
-
-
-
-
-
-
-