一种面向SSD去重的数据分配方法及系统

    公开(公告)号:CN110413235B

    公开(公告)日:2020-07-24

    申请号:CN201910683628.9

    申请日:2019-07-26

    Abstract: 本发明公开了一种面向SSD去重的数据分配方法及系统,属于固态存储领域,包括:以有效的地址引用计数作为并行单元或SSD的读热度,预先建立一个读热度表,用于分别记录所述SSD以及其中各并行单元的读热度;按照如下步骤处理每一个写请求:若可以去重,则获得目标数据的重复数据所在物理页,从而得到写请求的逻辑地址lpn所映射到的物理地址ppn,若不可以去重,则在读热度小于平均读热度的并行单元中分配一个空闲的物理页并写入数据,从而得到写请求的逻辑地址lpn所映射到的物理地址ppn;根据所述写请求的类型和地址映射关系更新热度表以及映射表。本发明能够有效解决去重应用在SSD中带来的读性能下降的问题。

    用于提高数据修复性能的最小存储再生码编码方法及系统

    公开(公告)号:CN110750382A

    公开(公告)日:2020-02-04

    申请号:CN201910880818.X

    申请日:2019-09-18

    Abstract: 本发明公开了一种用于提高数据修复性能的最小存储再生码编码方法及系统,属于计算机存储领域,包括:将原始数据等分为k个数据块,并将每个数据块等分为α个数据分片;将每个校验块等分为α个校验分片;确定用于数据编码的生成矩阵后,对k×α个数据分片进行编码,得到各校验块中的各个校验分片;编码完成后,将数据块和校验块分别存储到不同的存储节点上;定期检查是否存在失效块;若失效块的总数大于编码块数量m,则修复失败;若仅存在一个失效的数据块,则向最不拥塞的d个有效存储节点请求1/(d-k+1)的数据量来修复失效的数据块;在其他情况下,从m个有效存储节点请求完整的块来修复失效块。本发明能够提高不稳定网络环境中的数据修复性能。

    一种实现多云存储容错转换机制的方法

    公开(公告)号:CN105959356A

    公开(公告)日:2016-09-21

    申请号:CN201610262243.1

    申请日:2016-04-26

    CPC classification number: H04L67/1097 H04L1/22 H04L67/06 H04L67/2823

    Abstract: 本发明公开了一种实现多云存储容错转换机制的方法,包括:根据数据热度的变化,拟对热数据采用双副本冗余机制进行存储,对冷数据采用RAID5机制进行冗余存储。伴随时间的推移,数据会从热数据转变为冷数据,即容错转换过程。通过在容错转换过程中引入中间节点计算的方法,使用计算资源来换取带宽资源,减少容错转换成本。从多副本到RAID5机制的转换可采用多种路径,从众多路径中选择成本较低的路径进行转换,在一定程度上减少容错转换成本。本发明能在一定程度上提高存储效率、降低用户成本。

    一种面向内存键值纠删码的混合数据更新方法及存储系统

    公开(公告)号:CN114138526B

    公开(公告)日:2025-04-25

    申请号:CN202111320055.7

    申请日:2021-11-09

    Abstract: 本发明提供了一种面向内存键值纠删码的混合数据更新方法及存储系统,属于计算机的可靠数据存储领域,方法包括:构建混合更新的存储系统;根据对象索引元数据获取对象的条带ID、序列号、偏移量和长度;读取对象对应数据块的历史值和条带的异或值,并获取各校验块的编码系数;将数据块的历史值与更新值作差获取数据块的差值;使用数据块的差值与校验块的编码系数计算各校验块的差值;将异或块和异或块的差值进行异或合并,更新异或块;对象对应的数据块和更新后的异或块采用就地更新方式写入内存节点;具有偏移量和长度的校验块差值采用校验日志更新方式写入日志节点。本发明能够平衡存储成本、数据更新性能及单个故障修复性能之间的关系。

    基于编码矩阵秘密共享的去中心化数据加密去重存储方法

    公开(公告)号:CN119759278A

    公开(公告)日:2025-04-04

    申请号:CN202411840823.5

    申请日:2024-12-13

    Abstract: 本申请属于计算机存储技术领域,具体公开了一种基于编码矩阵秘密共享的去中心化数据加密去重存储方法,该方法包括:对待存储数据进行分块处理,生成多个数据块;基于所述多个数据块的内容指纹,通过多个去中心化的密钥服务器协同生成加密编码矩阵;基于所述加密编码矩阵对所述多个数据块进行加密,生成多个密文块;将所述多个密文块存储至分布式存储系统中,并基于所述多个密文块分别对应的内容指纹进行重复数据删除。该方法可以提高系统的扩展性和性能,确保数据的安全性和存储可靠性,适用于大规模分布式存储环境。

    一种面向大条带编码计算系统的快速修复方法和系统

    公开(公告)号:CN118295841A

    公开(公告)日:2024-07-05

    申请号:CN202410405874.9

    申请日:2024-04-07

    Abstract: 本申请属于并行计算领域,具体公开了一种面向大条带编码计算系统的快速修复方法和系统。通过本申请,根据当前集群内主节点及所有正常工作节点的计算速度状况,构建合理的并行流水线修复树,从而使得计算任务修复时间得以最小化,从而尽可能快地修复出丢失的计算任务,提升了修复性能与系统的可靠性。现有技术解码工作由主节点单独完成,本申请将解码工作一部分交给工作节点完成,从而加快修复速度。

    一种基于纠删码的条带合并方法及系统

    公开(公告)号:CN113626250A

    公开(公告)日:2021-11-09

    申请号:CN202110774701.0

    申请日:2021-07-08

    Abstract: 本发明提供一种基于纠删码的条带合并方法及系统,首先通过StripeMerge‑P算法基于预处理的哈希表确定纠删码条带校验块的对齐信息,通过贪心策略选择要合并的纠删码条带对进行合并,通过哈希表可以直接查找校验块位置信息,不需要额外增加计算开销,且结合贪心策略更加减少挑选合并纠删码条带对的开销。且相比直接采用StripeMerge‑G算法两两计算任意两个纠删码条带对的合并开销对比的方式,本发明先通过StripeMerge‑P算法以相对较小的计算开销挑选合并开销相对较少的纠删码条带对,然后再在剩余纠删码条带中采用StripeMerge‑G算法挑选合并的纠删码条带对,保证整体的计算开销和合并开销都相对较小,降低了纠删码条带合并过程中的计算开销。

    一种条带数据存储结构及其构建、修复和更新方法

    公开(公告)号:CN112835738A

    公开(公告)日:2021-05-25

    申请号:CN202110193270.9

    申请日:2021-02-20

    Abstract: 本发明提供了一种条带数据存储结构其构建、修复和更新方法,属于计算机的可靠数据存储领域,条带数据存储结构为:条带为(n,k,r,z),包括局部组和全局组;全局组包括一个机架,用于存储全局校验块;每个局部组中包含个机架,每个机架中设置有不同的存储节点;不同存储节点处存储数据块或局部校验块,且每个机架中的数据块和局部校验块总数为c;其中,每个局部组存储有一个局部校验块和r个数据块;每个机架中的存储节点大于等于c;基于机架容错属性,c小于等于大条带的节点容错能力f;全局校验块的个数为f‑1;z为总机架数目。本发明支持n和k量级为百级的同时确保修复开销和存储开销较低的状态。

    一种基于图像边缘检测的图像分块去重方法和系统

    公开(公告)号:CN112200740A

    公开(公告)日:2021-01-08

    申请号:CN202011070261.2

    申请日:2020-10-08

    Inventor: 胡燏翀 徐佳

    Abstract: 本发明公开了一种基于图像边缘检测的图像分块去重方法和系统,属于计算机存储领域。本发明在图片在二维像素矩阵的状态下进行分块,并利用均值哈希算法计算小块的标识,避免了编码对去重造成的影响。图片的均值哈希算法则用于计算小图片块的指纹,从而判断小图片块是否重复。算法简单计算速度快,对内容敏感。对于两张相似冗余度很高的图片,分块操作将它们完全相同的部分与存在差异的部分进行了分割,完全相同的部分作为冗余块被去掉,存在差异的部分则被保留下,从而实现了图片的去重。本发明利用图像边缘检测技术来确定分块方式,同样均匀分块的条件下,分块效果实现了画面中主要物体分离的分块方式最终实现的去重率最高。

    一种基于网络编码的存储扩展方法

    公开(公告)号:CN108536396B

    公开(公告)日:2020-05-19

    申请号:CN201810304384.4

    申请日:2018-04-08

    Abstract: 本发明公开了一种基于网络编码的存储扩展方法,包括:将存储扩展前的条带划分为多个扩展组,并进一步将每个扩展组划分为PG和DG;在DG内循环地依次从原节点中取数据块,得到一系列的数据集合;利用网络编码对每一个数据集合进行编码生成更新块,使用这些更新块对PG中的编码块进行本地更新或者异地更新;将编码块或者数据块传输至新增节点上,并保持扩展后数据块与编码块在所有节点上均匀放置;删除所有传输至新节点的数据块和编码块,并删除DG内所有的编码块。本发明在存储扩展时利用存储节点自身的计算资源对数据块进行编码并对部分编码块进行本地更新,减少了扩展带宽,提高了扩展速度,并在某些参数条件下达到最优存储扩展。

Patent Agency Ranking