一种基于极值的数据去重分块方法

    公开(公告)号:CN104572872A

    公开(公告)日:2015-04-29

    申请号:CN201410803454.2

    申请日:2014-12-19

    CPC classification number: G06F17/30489

    Abstract: 本发明公开了一种基于极值的数据去重分块方法,其特征在于,包括:本发明是现有分块方法的改进,与现有分块方法的不同之处在于:1、本方法在局部非对称区域而不是对称区域内寻找局部极值来解决边界偏移问题;2、本发明将拥有局部极值的位置(即极值点)放在数据块的中间而不是作为数据块的边界;3、本发明在遇到相等的极值时将最先出现的极值所在的位置作为极值点。前两个不同点使得本发明在判断切点时所需的操作极少,因此可获得远高于现有分块方法的吞吐量;第三个不同点使本发明能够检测并消除掉部分低熵字符串中的重复数据。此外,本发明生成的数据块的块长方差较小且无需强制块长限制,因此能获得与传统分块方法相当或更高的去重率。

    一种双层磨损均衡方法及系统

    公开(公告)号:CN105955891A

    公开(公告)日:2016-09-21

    申请号:CN201610259384.8

    申请日:2016-04-25

    CPC classification number: G06F12/0246 G06F21/79

    Abstract: 本发明公开了一种双层磨损均衡方法及系统,适用于相变存储器内存。该方法具体为:外层负责整个内存存储区域逻辑地址到中间地址的映射,通过增加密钥的复杂度,可以在恶意程序探测出完整的密钥前变换密钥;内层负责在每个子区域内使用独立的代数磨损均衡方法,在低开销的情况下达到区域内的磨损均衡,解决由于相变存储器存在复位和置位操作的延时差别而泄露磨损均衡算法的密钥,降低内存系统安全性的问题。

    一种数据去重过程中的并行分块方法与系统

    公开(公告)号:CN104361068A

    公开(公告)日:2015-02-18

    申请号:CN201410621223.X

    申请日:2014-11-06

    CPC classification number: G06F3/0641 G06F9/3885

    Abstract: 本发明公开了一种数据去重过程中的并行分块方法,其特征在于,包括:(1)将数据流中的文件分成多个定长的数据段,所述数据段的长度大于数据分块的最大块长;(2)利用计算机多核处理器并行对每个数据段进行分块,每个数据段都通过分块获得多个数据块;(3)将最后一个数据段除外的每个数据段的最后一个数据块与后一个数据段的第一个数据块进行边界衔接处理。本发明提出的并行分块方法,采用一种新颖的边界衔接方法解决了传统分块方法的依赖性问题,以极小的去重率损失为代价,使得数据分块能并行进行,突破了数据去重计算的性能瓶颈。

    一种基于重复数据删除的差量压缩方法

    公开(公告)号:CN102831222A

    公开(公告)日:2012-12-19

    申请号:CN201210303650.4

    申请日:2012-08-24

    Abstract: 本发明公开了一种基于重复数据删除的差量压缩方法,包括以下步骤:对数据流中的文件进行分块,得到多个数据块,计算每个数据块的数据块指纹,用于重复数据查找,对所有数据块进行分组,以建立数据块组及其双向链表,并对数据块组内的每个数据块进行重复数据删除的指纹查找,以确定是否为重复数据块,对于重复数据删除处理后的数据块组,利用该数据块组的双向链表中的重复数据信息进行基于局部性的相似数据查找,即将那些跟重复数据块相邻的非重复数据块认定为潜在的相似数据块并加以差量压缩验证其相似性,最后对数据块组进行基于相似性的相似性数据查找补充。本发明具有相似数据查找快、计算和索引开销少、数据压缩效率高的优点。

Patent Agency Ranking