数据条带编码方法、系统、设备及介质

    公开(公告)号:CN114138543A

    公开(公告)日:2022-03-04

    申请号:CN202111447413.0

    申请日:2021-11-30

    Abstract: 本申请公开了一种数据条带编码方法、系统、设备及介质,获取待编码的第一条带数据及第二条带数据;生成第一条带数据及第二条带数据各自的运算值,运算值的数量与冗余校验块的数量相等;基于第二条带数据的运算值、第一条带数据的运算值生成异或值;基于运算值及异或值确定第一条带数据及第二条带数据各自的校验块。本申请中,在进行Hitchhiker纠删码的过程中,需计算第二条带数据的运算值与第一条带数据的第一运算值间的异或值,并且根据该异或值确定相应的校验块,借助异或值降低了Hitchhiker纠删码的计算开销,提高了计算速度。本申请提供的数据条带编码系统、设备及计算机可读存储介质也解决了相应技术问题。

    一种基于纠删码的异构网络单节点修复方法及系统

    公开(公告)号:CN113721851A

    公开(公告)日:2021-11-30

    申请号:CN202110990143.1

    申请日:2021-08-26

    Inventor: 冯丹 胡燏翀 周海

    Abstract: 本发明提供了一种基于纠删码的异构网络单节点修复方法及系统,属于计算机存储领域,方法为:获取当前网络带宽状态,包括各个节点之间的带宽;为每个失效节点选择对应的新生节点requestor以存储修复数据,并从所有幸存节点中为每个失效节点选择k个helper节点;其中,k为原始数据块;枚举每个时间戳所有可能的修复方法,选择最大的最低链路带宽所对应的修复方法,以生成源条带单级转发链路;其链路的两个节点为失效节点对应的不同helper节点;将源条带单级转发链路插入纠删码集群中完成对失效节点的修复。本发明充分利用节点之间的高带宽资源,能够避免网络的拥塞与竞争,提升修复性能与系统的可靠性。

    一种基于热度的存储管理方法及系统

    公开(公告)号:CN110968266B

    公开(公告)日:2021-03-26

    申请号:CN201911081712.X

    申请日:2019-11-07

    Abstract: 本发明公开了一种基于热度的存储管理方法及系统,属于键值缓存系统领域,包括:(1)在内存中获取目标键值对的索引信息,以获得其存储地址Ao,并该索引信息进行更新;(2)确定用于存储目标键值对的存储策略;(3)判断是否需要执行slab块剔除操作以回收内存空间,若是,则转入步骤(4);否则,转入步骤(5);(4)获得冷、热分区中更新次数较小的分区内热度值最小的满slab块Sbv,顺序写入SSD后回收内存空间;(5)在内存中为目标键值对分配存储槽后,将目标键值对写入其中,更新目标键值对的索引信息及其所在分区的更新次数,并更新slab块的分配信息、总更新次数和冷热属性。本发明能减少键值缓存系统中SSD的写入磨损,延长SSD的使用寿命。

    指纹碰撞规避、去重及恢复方法、存储介质和去重系统

    公开(公告)号:CN112162973A

    公开(公告)日:2021-01-01

    申请号:CN202010984840.1

    申请日:2020-09-17

    Abstract: 本发明公开了一种指纹碰撞规避、去重及恢复方法、存储介质和去重系统,属于计算机存储领域。本发明提出的广域网数据去重方法,根据现有的网络状况及硬件设备,采用数据去重技术对数据流进行去重处理,以非常小的代价消除重复数据,以确保冗余数据不会重复发送,该方法有效减少了不必要的带宽浪费,达到提高传输速率和带宽利用的效果。本发明将指纹计算分为两层,MD5层和SHA‑256层;对每个数据块计算其MD5值;若出现相同的MD5值,再计算两个数据块的SHA‑256值;进而通过SHA‑256算法计算出的数据块指纹来判定数据是否重复,进一步增加了广域网数据去重系统的可靠性。

    提高数据去重系统可扩展性的容错编码方法、装置及系统

    公开(公告)号:CN111831223A

    公开(公告)日:2020-10-27

    申请号:CN202010567095.0

    申请日:2020-06-19

    Abstract: 本发明公开了一种提高数据去重系统可扩展性的容错编码方法、装置及系统,属于计算机存储领域,包括:在数据去重系统中新增Δk个节点时,将每k+Δk个具有局部性关联的容器划分为一个关联容器组,并将编码方式从RS(k,m)扩展为RS(k+Δk,m);对于每一个关联容器组G,将其中的Δk个容器中的共Δk×k个数据块均匀地迁移到新增节点中;对于关联容器组G中每一个未迁移的容器C,从每一个新增节点中选取一个数据块与容器C中的数据块组合,按照RS(k+Δk,m)计算组合得到的k+Δk个数据块对应的校验块PC1′~PCm′并存储到节点中,由组合得到的k+Δk个数据块及校验块PC1′~PCm′构成一个新的条带;从节点中删除中各容器的旧校验块。本发明能够有效提高数据去重系统的可扩展性。

    数据修复方法及数据修复装置

    公开(公告)号:CN107463462B

    公开(公告)日:2020-10-13

    申请号:CN201610399396.0

    申请日:2016-06-06

    Inventor: 胡燏翀

    Abstract: 本发明提供一种数据修复方法,其包括:获取数据修复指令,并根据数据修复指令在本地机架中创建用于修复丢失数据片段的本地新节点;根据数据修复指令,在本地机架的其他节点的编码数据片段中收集本地修复数据;根据数据修复指令,在中继机架中确定数据中继节点,并通过数据中继节点在相应的中继机架的节点的编码数据片段中收集中继修复数据;根据本地修复数据以及中继修复数据,在本地新节点对丢失数据片段进行修复操作。本发明还提供一种数据修复装置,本发明的数据修复方法及数据修复装置对机架内数据修复和跨机架数据修复进行结合,提高了数据修复操作的传输效率。

    一种打包文件备份过程中数据去重碎片消除方法

    公开(公告)号:CN109408288B

    公开(公告)日:2020-07-10

    申请号:CN201811148083.3

    申请日:2018-09-29

    Abstract: 本发明公开了一种打包文件备份过程中数据去重碎片消除方法,由于打包数据集的特性,导致大量被重写的碎片块在之后的备份过程中,仍然被识别为碎片块,因此被重写算法不断地重复重写,这种被反复重写的碎片块,我们称为持久性碎片块,它会严重降低系统的恢复性能。因此我们首先识别持久性碎片块,然后构建了碎片容器用于存储持久性碎片块、正常容器用于存储非持久性碎片块。大量持久性碎片块不是碎片块,写入碎片块数量会减小,容器的平均利用率会增加,重复重写率得到下降;容器包含了更多的有效块,需要读取的容器数量减少了,恢复性能得到显著提高。

    一种低数据重建开销的纠删码方法

    公开(公告)号:CN107656832B

    公开(公告)日:2019-10-25

    申请号:CN201710841960.4

    申请日:2017-09-18

    Abstract: 本发明公开了一种低数据重建开销的纠删码方法,包括:数据分块步骤、数据编码步骤、检查数据块状态步骤、根据失效块进行修复划分步骤以及相应的失效修复步骤,本发明结合了网络编码中蝴蝶码优秀修复带宽性质和局部重建的组内重建方法,可减少系统中数据重建时需求的磁盘读取和网络带宽传输。在本发明中,每个组具有两个校验块并利用局部重建码的组内编码来维持组内的最优修复带宽,再以部分校验块编码所有数据块来保证系统可靠性。相比局部重建码,该方法的组内校验具有更高的可靠性,所以需要的全局校验个数较少,故而可以在相等的存储开销下具有更低的修复带宽。

    一种基于RAID5的实现内存数据可靠性方法及系统

    公开(公告)号:CN106547484B

    公开(公告)日:2019-05-14

    申请号:CN201610914581.9

    申请日:2016-10-20

    Abstract: 本发明公开了一种基于RAID5的实现内存数据可靠性方法及系统,包括:在每台分布式存储服务器中划分一部分内存数据做缓存,然后构建RAID5;将经常访问的数据放到内存数据库中;除了存储基本数据还要存储额外的元数据信息,用于标识RAID5的条带信息;当所有存储服务器正常运行时,客户端直接从内存中读取数据;当发生单点故障时,客户端通过存储的元数据信息可以得到同一个条带的数据,在内存级别将数据恢复出来,提供的给用户,而不用去访问存取速度比内存低几个数量级的硬盘,从而提高了存储系统的可靠性;同时,通过构建RAID5,在达到可靠性的同时,降低了数据存储冗余度,从而节省成本。

    一种实现多云存储容错转换机制的方法

    公开(公告)号:CN105959356B

    公开(公告)日:2019-04-12

    申请号:CN201610262243.1

    申请日:2016-04-26

    Abstract: 本发明公开了一种实现多云存储容错转换机制的方法,包括:根据数据热度的变化,拟对热数据采用双副本冗余机制进行存储,对冷数据采用RAID5机制进行冗余存储。伴随时间的推移,数据会从热数据转变为冷数据,即容错转换过程。通过在容错转换过程中引入中间节点计算的方法,使用计算资源来换取带宽资源,减少容错转换成本。从多副本到RAID5机制的转换可采用多种路径,从众多路径中选择成本较低的路径进行转换,在一定程度上减少容错转换成本。本发明能在一定程度上提高存储效率、降低用户成本。

Patent Agency Ranking