-
公开(公告)号:CN110347526A
公开(公告)日:2019-10-18
申请号:CN201910570969.5
申请日:2019-06-28
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F11/07
Abstract: 本发明公开了一种提升分布式存储集群中LRC码修复性能的方法、装置及系统,属于计算机存储领域,包括:执行LRC编码以生成相应的条带;对于每一个条带,将其中的每一个局部组进一步划分为一个或多个小分组后,将同一个小分组内的编码块放置到同一个机架中的不同节点,不同的小分组放置到不同机架中;对单个编码块进行修复时,获得待修复编码块所在的目标小分组,以及同一局部组内的其他小分组;在各小分组所在机架内,由中继节点收集同一小分组内的编码块,并解码得到中间结果;在目标小分组所在机架内,由目标节点收集中间结果后,解码以修复得到待修复的编码块并存储该编码块,从而完成修复操作。本发明能够提升分布式存储集群中LRC码的修复性能。
-
公开(公告)号:CN110231999A
公开(公告)日:2019-09-13
申请号:CN201910454764.0
申请日:2019-05-29
Applicant: 华中科技大学 , 深圳华中科技大学研究院
Abstract: 本发明公开了一种提升基于局部修复编码的存储系统可靠性的方法及装置,属于计算机存储领域,包括预测调整的步骤和修复回归的步骤;预测调整的步骤包括定期执行如下操作:预测即将发生故障的坏盘,并将其中的所有数据块均标记为坏块;对于每一个坏块Bi,改变分组状态,使得所属的分组Gi内仅保留坏块Bi以及另外一个数据块,且其余数据块被转移,相应更新局部校验块;修复回归的步骤包括:执行修复操作;若修复所得的数据块B被标记为坏块,则将其标记为好块,并在所属分组G中的数据块发生了转移时,将被转移的数据块转移回分组G,并相应更新局部校验块。本发明能够提高基于局部修复编码的存储系统的降级读性能和数据修复性能,从而提升系统可靠性。
-
公开(公告)号:CN110427156B
公开(公告)日:2020-09-08
申请号:CN201910639534.1
申请日:2019-07-16
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F3/06
Abstract: 本发明公开了一种基于分片的MBR的并行读方法,属于计算机存储领域。MBR存储系统在写入时,按照文件流依次同时写入同一个数据块到两个不同的节点上,包括:向MBR存储系统请求读文件之前,将MBR存储系统中每个数据块分为大小相等的两个切片;向MBR存储系统请求读某文件时,依次寻找该文件中每个数据块所在的两个不同节点;并行地从不同的两个节点上读取同一个数据块的两个不同的切片,直至该文件读取结束。通过对数据块进行分片,读取不同的两个节点上的同一个数据块时,只需读取原数据块的一半即可,不会增加额外的数据读取量,使得系统保持良好并行性的同时,读取更少的数据量,进一步提升了存储系统的读性能。
-
公开(公告)号:CN110442535A
公开(公告)日:2019-11-12
申请号:CN201910655375.4
申请日:2019-07-19
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F12/0893 , G06F12/0842
Abstract: 本发明公开了一种提高分布式固态盘键值缓存系统可靠性的方法及系统,属于计算机存储领域,包括:写操作步骤,写入数据的同时缓存数据,将同一固态盘服务器的数据聚合为数据块,并执行纠删码编码得到条带,条带中一个校验块写入内存服务器,其余编码块写入不同的固态盘服务器;更新操作步骤,更新数据块,同时计算更新差值,利用更新差值更新内存服务器中的校验块,并将更新差值记录到日志中;以及降级读操作步骤,按照数据块、内存服务器中的校验块、固态盘服务器中的校验块的优先级顺序,依次获取条带内的其他编码块,并在成功获取到n个编码块时,解码得到丢失数据块。本发明能够提高分布式固态盘键值缓存系统的可靠性,并优化系统性能。
-
公开(公告)号:CN110427156A
公开(公告)日:2019-11-08
申请号:CN201910639534.1
申请日:2019-07-16
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F3/06
Abstract: 本发明公开了一种基于分片的MBR的并行读方法,属于计算机存储领域。MBR存储系统在写入时,按照文件流依次同时写入同一个数据块到两个不同的节点上,包括:向MBR存储系统请求读文件之前,将MBR存储系统中每个数据块分为大小相等的两个切片;向MBR存储系统请求读某文件时,依次寻找该文件中每个数据块所在的两个不同节点;并行地从不同的两个节点上读取同一个数据块的两个不同的切片,直至该文件读取结束。通过对数据块进行分片,读取不同的两个节点上的同一个数据块时,只需读取原数据块的一半即可,不会增加额外的数据读取量,使得系统保持良好并行性的同时,读取更少的数据量,进一步提升了存储系统的读性能。
-
公开(公告)号:CN110442535B
公开(公告)日:2021-06-11
申请号:CN201910655375.4
申请日:2019-07-19
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F12/0893 , G06F12/0842
Abstract: 本发明公开了一种提高分布式固态盘键值缓存系统可靠性的方法及系统,属于计算机存储领域,包括:写操作步骤,写入数据的同时缓存数据,将同一固态盘服务器的数据聚合为数据块,并执行纠删码编码得到条带,条带中一个校验块写入内存服务器,其余编码块写入不同的固态盘服务器;更新操作步骤,更新数据块,同时计算更新差值,利用更新差值更新内存服务器中的校验块,并将更新差值记录到日志中;以及降级读操作步骤,按照数据块、内存服务器中的校验块、固态盘服务器中的校验块的优先级顺序,依次获取条带内的其他编码块,并在成功获取到n个编码块时,解码得到丢失数据块。本发明能够提高分布式固态盘键值缓存系统的可靠性,并优化系统性能。
-
公开(公告)号:CN110347526B
公开(公告)日:2020-12-18
申请号:CN201910570969.5
申请日:2019-06-28
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F11/07
Abstract: 本发明公开了一种提升分布式存储集群中LRC码修复性能的方法、装置及系统,属于计算机存储领域,包括:执行LRC编码以生成相应的条带;对于每一个条带,将其中的每一个局部组进一步划分为一个或多个小分组后,将同一个小分组内的编码块放置到同一个机架中的不同节点,不同的小分组放置到不同机架中;对单个编码块进行修复时,获得待修复编码块所在的目标小分组,以及同一局部组内的其他小分组;在各小分组所在机架内,由中继节点收集同一小分组内的编码块,并解码得到中间结果;在目标小分组所在机架内,由目标节点收集中间结果后,解码以修复得到待修复的编码块并存储该编码块,从而完成修复操作。本发明能够提升分布式存储集群中LRC码的修复性能。
-
公开(公告)号:CN110231999B
公开(公告)日:2020-05-19
申请号:CN201910454764.0
申请日:2019-05-29
Applicant: 华中科技大学 , 深圳华中科技大学研究院
Abstract: 本发明公开了一种提升基于局部修复编码的存储系统可靠性的方法及装置,属于计算机存储领域,包括预测调整的步骤和修复回归的步骤;预测调整的步骤包括定期执行如下操作:预测即将发生故障的坏盘,并将其中的所有数据块均标记为坏块;对于每一个坏块Bi,改变分组状态,使得所属的分组Gi内仅保留坏块Bi以及另外一个数据块,且其余数据块被转移,相应更新局部校验块;修复回归的步骤包括:执行修复操作;若修复所得的数据块B被标记为坏块,则将其标记为好块,并在所属分组G中的数据块发生了转移时,将被转移的数据块转移回分组G,并相应更新局部校验块。本发明能够提高基于局部修复编码的存储系统的降级读性能和数据修复性能,从而提升系统可靠性。
-
公开(公告)号:CN120010784A
公开(公告)日:2025-05-16
申请号:CN202510101748.9
申请日:2025-01-22
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本申请属于计算机分布式存储技术领域,具体公开了一种面向基于再生码的分布式存储系统的节点并行修复方法,该方法包括:分别对待修复集群中每个条带的并行擦除编码有向无环图pECDAG进行初始化;基于所述待修复集群中的节点对初始化后的pECDAG中的顶点进行染色,获得初始修复方案;对所述初始修复方案重复执行修复方案优化过程,直至修复方案的最大修复负载降至最低,获得最终修复方案,所述修复方案优化过程包括:判断当前修复方案中对修复负载影响最大的条带,并对所述对修复负载影响最大的条带的pECDAG中的顶点进行重新染色;基于所述最终修复方案对待修复集群进行修复。
-
公开(公告)号:CN120010783A
公开(公告)日:2025-05-16
申请号:CN202510101745.5
申请日:2025-01-22
Applicant: 杭州海康威视数字技术股份有限公司 , 华中科技大学
IPC: G06F3/06
Abstract: 本申请属于计算机存储技术领域,具体公开了一种基于多队列的纠删码条带更新方法、装置和电子设备,该方法包括:获取原始条带中数据块的基本元数据信息;基于所述基本元数据信息,将所述数据块放入不同的预设编码队列,所述不同的预设编码队列包括高频更新编码队列、低频更新编码队列和无更新编码队列;基于不同的预设编码队列中的数据块,分别使用不同的预设生成策略生成条带。该方法可以降低纠删码条带更新对全闪集群中SSD盘的寿命损耗。
-
-
-
-
-
-
-
-
-