-
公开(公告)号：CN105630423B
公开(公告)日：2018-11-27
申请号：CN201511000387.1
申请日：2015-12-25
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了一种基于数据缓存的纠删码集群存储扩容方法，包括响应用户读请求、迁移缓存数据分块和更新校验分块的步骤；迁移旧节点缓存中的数据分块，同时利用新节点生成新条带中的校验分块；每个计算校验分块的节点本地磁盘保存一个校验分块，其他的校验分块发送给旧节点替换掉条带中的数据分块，条带中其余数据分块在旧节点的位置保持不变，当一个新条带分块均匀分布在集群各节点后，热数据分块从旧节点迁移到新增节点；缓存数据分块迁移支持热点数据在所有节点上的均匀分布；新增节点利用接收的缓存数据分块生成校验分块，分散计算操作的同时可减少新校验分块的网络传输量。
-
公开(公告)号：CN105610921B
公开(公告)日：2018-09-07
申请号：CN201510979326.8
申请日：2015-12-23
Applicant: 华中科技大学
IPC: H04L29/08
Abstract: 本发明公开了一种集群下基于数据缓存的纠删码归档方法,包括以下步骤：(1)根据用户访问请求，将所需数据分块从其所在生产节点读取到节点缓冲区，并将数据分块发送给访问节点，同时根据归档数据状态表将其转发给归档节点；(2)归档节点根据接收到的数据分块，更新每个数据节点的数据分块个数；判断归档节点是否接收到当前条带的全部数据分块，若是，则将当前条带进行归档；若否，则从生产集群读取冷数据块，将条带凑齐之后进行归档；本发明提供的这种纠删码归档方法，由于采用了用户访问缓存的数据分块，相比于普通纠删码归档方法，可大幅度减少归档节点从生产集群中读取数据分块的次数，可以在不影响用户访问的情况下进行纠删码归档操作，提高归档效率。
-
公开(公告)号：CN106844060A
公开(公告)日：2017-06-13
申请号：CN201710141230.3
申请日：2017-03-10
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于任务负载感知的纠删码归档方法及系统，属于计算机存储技术领域。本发明方法首先获取纠删码集群中归档条带的每个节点任务数和每个节点上含有的当前归档条带数据分块个数；之后选取任务数最小且含有当前归档条带数据分块较多的一个存储节点作为编码节点，并更新编码节点的任务数；然后根据任务数最小原则和供给节点选取规则，依次选取所有数据分块的供给节点，并且更新其任务数；最后编码节点通过供给节点提供的数据分块进行编码计算，生成校验分块，完成归档任务。本发明还实现了一种基于任务负载感知的纠删码归档系统。本发明解决了现有归档方法中将大量归档任务集中分配到某个数据节点而导致的归档任务不均衡问题。
-
公开(公告)号：CN104391759B
公开(公告)日：2017-06-13
申请号：CN201410631962.7
申请日：2014-11-11
Applicant: 华中科技大学
IPC: G06F11/14
Abstract: 本发明公开了一种纠删码存储中负载感知的数据归档方法，包括步骤：获取纠删码存储集群中生产集群的每个节点的负载权重值，并将负载权重值存储在数组中，并根据节点负载权重值来确定不同条带在生产集群中的归档节点集合。对第i个条带，初始化其归档节点集合为空，从第i个条带的数据分布集合中选择负载权重值最高的节点，并判断该节点的负载权重值是否大于该节点的数据块个数，如果为是，则将该节点对应的数据块填充在该条带的归档节点集合中，并更新所涉及节点的负载权重值；如果为否，则选择该条带数据分布集合中负载权值第二高的节点。本发明解决了现有方法中编码节点不考虑节点权值，仅从固定节点获取条带上所有数据块而导致的性能瓶颈问题。
-
公开(公告)号：CN103645861B
公开(公告)日：2016-04-13
申请号：CN201310651547.3
申请日：2013-12-03
Applicant: 华中科技大学
Abstract: 本发明公开了一种纠删码存储集群中失效节点的重构方法，包括：1）有节点失效时，根据节点的负载和网络带宽，初始化所有存活节点的权重值；2）选取权重值最大的K个存活节点，作为恢复该失效节点中的数据块读取分布，其中K为存储集群中数据节点的数目；3）将上述K个存活节点的权重值分别减1；4）判断权值大于0的节点数量是否小于K，若是则转到步骤5），若否则转到步骤2）；5）根据所有数据块读取分布，解码出失效节点上对应偏移地址的数据块中的数据。本发明根据权重值选择重构失效节点的数据节点，减少了负载不均衡时的响应时间；同时降低了纠删码存储集群中各个节点因频繁的超负载而崩溃的概率，提高整个纠删码存储集群的可靠性。
-
Patent Agency Ranking
公开(公告)号：CN104991740A
公开(公告)日：2015-10-21
申请号：CN201510354925.0
申请日：2015-06-24
Applicant: 华中科技大学
Abstract: 本发明公开了一种加速纠删码编解码过程的通用矩阵优化方法，包括：在编解码时，通过把校验矩阵分解为多个相互独立的子矩阵和一个剩余的子矩阵，使得编解码的计算能够被部分并行执行，除此以外，还通过调整矩阵运算的顺序，降低了在编解码过程中涉及数据块运算的次数，从而降低了计算的时间花销。本发明方法提升纠删码编解码过程的性能，尤其是在多核处理器上运行时的性能。使用本发明实现的编解码过程可以利用编码的潜在并行能力，充分发挥多核处理器的并行处理能力，缩短计算过程所花费的时间。
-
公开(公告)号：CN104850504A
公开(公告)日：2015-08-19
申请号：CN201510273730.3
申请日：2015-05-26
Applicant: 华中科技大学
IPC: G06F12/02
Abstract: 本发明公开了一种加速基于XOR的RAID-6编解码过程的方程并行计算方法：将基于XOR的RAID-6编码的校验规则用校验方程组表示，把每个校验方程在编解码过程中的求解分解为两个阶段——“预计算阶段”以及“递归求解阶段”；每个校验方程由一个独立的线程实施求解，多个校验方程的预计算阶段被并行执行；使用一个全局共享的数据块状态表记录数据块的状态以协调所有线程的执行。本发明方法利用编码的潜在并行能力，使得大部分计算可以同时使用多个线程处理，充分发挥并行处理能力，缩短计算所花费的时间，提高编解码的性能。
-
公开(公告)号：CN102681791B
公开(公告)日：2015-04-15
申请号：CN201210107258.2
申请日：2012-04-13
Applicant: 华中科技大学
Abstract: 本发明公开了一种集群存储系统的节能存储方法，包括以下步骤：获取请求队列信息，判断请求队列信息是读数据请求还是写数据请求，如果是读数据请求，则根据读数据请求进行读数据操作，以得到读数据请求对应的数据，否则根据写数据请求，判断写数据请求对应的数据节点是否失效，如果失效，则对失效的数据节点进行数据重构操作，否则判断当前的缓存空间利用率是否达到阈值，如果达到阈值，则根据缓存空间利用率对缓存中的数据进行数据同步操作，否则对写数据请求对应的数据进行写入操作。本发明在保证可靠性的情况下，能够有效地提高存储系统的容错能力和存储效率，降低存储系统的能耗，这些优势使它有着实用性和推广潜力。
-
公开(公告)号：CN102799617B
公开(公告)日：2014-09-24
申请号：CN201210202816.3
申请日：2012-06-19
Applicant: 华中科技大学
IPC: G06F17/30
Abstract: 本发明公开了一种多层Bloom Filter的构建及查询优化方法，构建时，对现有多层Bloom Filter中各层相关Bloom Filter的bit位进行重新放置，将第一层Q个Bloom Filter以及上层每一个Bloom Filter对应的下层Q个Bloom Filter的相同位置bit位放在同一连续地址空间；查询时，一个哈希值对应同层Q个Bloom Filter的bit位存在于同一连续地址空间，通过对少数连续空间的查询即可实现对进行多层Bloom Filter的查询。本发明优化后的多层Bloom Filter在不增加存储空间的基础上，相应bit位查询操作更为简便，大大减少了磁盘访问的次数，有效减少了对多层Bloom Filter的查询时间。
-
公开(公告)号：CN103809919A
公开(公告)日：2014-05-21
申请号：CN201310689402.2
申请日：2013-12-16
Applicant: 华中科技大学
Abstract: 本发明公开了一种高效容多错的快速恢复编码及其验证矩阵生成方法，该编码是基于XOR运算的一种编码。且该编码是以编码单元为单位的编码。在一个编码单元中存在多个条带集，每个条带集之间存在着一定的联系。在该种编码中一个编码单元的前面Rp行存放着校验码，后面的Rp行存放着数据，Rp行中的数据通过一个或几个条带集中的一些数据块进行异或得到。同时还提供了一种验证该编码的容错能力的方法，用一个变换矩阵来表示从原始的数据块生成全部数据的过程，然后把变换矩阵中与失效块有关的行去掉得到一个降级的转换矩阵，通过验证该降级的变换矩阵的秩可以得出该编码的容错度。本发明能够解决现有技术中存在的容错能力低、降级读与重构的性能差的技术问题。
-
-
-
-
-
-
-
-
-
Search Results
95
records
(took 0.028 seconds)
