一种相似性感知的安全数据去重加密方法

    公开(公告)号:CN107659401B

    公开(公告)日:2019-08-30

    申请号:CN201710963426.0

    申请日:2017-10-09

    Abstract: 本发明公开了一种相似性感知的安全数据去重加密方法,包括:利用文件相似性将数据块聚合成较大单元的数据段。每个数据段采用抽样算法和相似性检测提取一个代表哈希;采用不经意的伪随机协议,产生数据段的隐私信息。结合数据段隐私信息和数据块的哈希值快速产生数据块密钥,并加密数据块得到密文。对密文计算指纹和重复块检查。因此,本发明结合相似段检测和重复块检查,避免代表哈希的隐私泄露,保证数据安全性和数据去重的压缩率;同时在数据段级采用安全高开销的不经意伪随机协议保证密钥安全,在数据块级采用低开销方法快速地产生密钥,从而减少数据加密时间开销,并提高系统的数据上传性能。

    一种双层磨损均衡方法及系统

    公开(公告)号:CN105955891B

    公开(公告)日:2018-12-14

    申请号:CN201610259384.8

    申请日:2016-04-25

    Abstract: 本发明公开了一种双层磨损均衡方法及系统,适用于相变存储器内存。该方法具体为:外层负责整个内存存储区域逻辑地址到中间地址的映射,通过增加密钥的复杂度,可以在恶意程序探测出完整的密钥前变换密钥;内层负责在每个子区域内使用独立的代数磨损均衡方法,在低开销的情况下达到区域内的磨损均衡,解决由于相变存储器存在复位和置位操作的延时差别而泄露磨损均衡算法的密钥,降低内存系统安全性的问题。

    一种基于极值的数据去重分块方法

    公开(公告)号:CN104572872B

    公开(公告)日:2017-08-25

    申请号:CN201410803454.2

    申请日:2014-12-19

    Abstract: 本发明公开了一种基于极值的数据去重分块方法,其特征在于,包括:本发明是现有分块方法的改进,与现有分块方法的不同之处在于:1、本方法在局部非对称区域而不是对称区域内寻找局部极值来解决边界偏移问题;2、本发明将拥有局部极值的位置(即极值点)放在数据块的中间而不是作为数据块的边界;3、本发明在遇到相等的极值时将最先出现的极值所在的位置作为极值点。前两个不同点使得本发明在判断切点时所需的操作极少,因此可获得远高于现有分块方法的吞吐量;第三个不同点使本发明能够检测并消除掉部分低熵字符串中的重复数据。此外,本发明生成的数据块的块长方差较小且无需强制块长限制,因此能获得与传统分块方法相当或更高的去重率。

    一种数据去重过程中的并行分块方法与系统

    公开(公告)号:CN104361068B

    公开(公告)日:2017-06-16

    申请号:CN201410621223.X

    申请日:2014-11-06

    Abstract: 本发明公开了一种数据去重过程中的并行分块方法,其特征在于,包括:(1)将数据流中的文件分成多个定长的数据段,所述数据段的长度大于数据分块的最大块长;(2)利用计算机多核处理器并行对每个数据段进行分块,每个数据段都通过分块获得多个数据块;(3)将最后一个数据段除外的每个数据段的最后一个数据块与后一个数据段的第一个数据块进行边界衔接处理。本发明提出的并行分块方法,采用一种新颖的边界衔接方法解决了传统分块方法的依赖性问题,以极小的去重率损失为代价,使得数据分块能并行进行,突破了数据去重计算的性能瓶颈。

    一种快速差量压缩方法
    5.
    发明公开

    公开(公告)号:CN105515586A

    公开(公告)日:2016-04-20

    申请号:CN201510927001.5

    申请日:2015-12-14

    CPC classification number: H03M7/30 H03M7/3091

    Abstract: 本发明公开了一种快速差量压缩方法,包括:对差量压缩中的基准块B进行基于内容的快速切分,以得到多个单词,从而构成单词库,对与基准块B相似的数据块A进行基于内容的快速切分,并且对快速切分期间检测到的重复单词进行放大,以得到重复单词和非重复单词,对得到的重复单词和非重复单词按切分顺序依次进行编码和储存,并分别使用两种不同的数据格式来记录重复单词和非重复单词,以得到差量数据块△B,A,在需要对差量数据块△B,A进行解码操作时,依次从△B,A中获取两种数据格式的记录,从而依次获得数据块A的所有单词,将这些单词顺序写入输出流,以恢复出完整的数据块A。本发明具有重复单词查找效率快,计算开销小和数据压缩效率高等优点。

    一种基于用户感知的高效安全数据去重方法及系统

    公开(公告)号:CN104917609A

    公开(公告)日:2015-09-16

    申请号:CN201510257654.7

    申请日:2015-05-19

    Abstract: 本发明提供了一种基于用户感知的高效安全数据去重方法,包括:客户端采用密钥服务器协助的基于哈希的收敛加密进行跨用户文件级数据去重;若文件不重复采用用户协助的收敛加密进行用户内部的块级去重;采用多级密钥管理,使用文件级密钥加密块级密钥,使用秘密共享将文件级密钥切分成分片级密钥存储到分布式密钥服务器。本发明还提供了一种基于用户感知的高效安全数据去重系统。本发明通过在文件级采用密钥服务器协助的基于哈希的收敛加密和在块级采用用户协助的收敛加密添加随机信息,使用户文件级和块级密钥随机化,能有效地抵抗敌手的暴力破解攻击,保证用户数据机密性和安全性;采用多级密钥管理方案保证密钥安全性,减少密钥空间开销。

    一种用于数据恢复的缓存替换方法与系统

    公开(公告)号:CN104050103A

    公开(公告)日:2014-09-17

    申请号:CN201410249181.1

    申请日:2014-06-06

    Abstract: 本发明公开了一种用于数据恢复的缓存替换方法,包括:数据备份步骤:在数据备份过程中,按照数据块的备份顺序记录各数据块所属容器的ID,得到该数据备份的容器访问顺序;哈希表生成步骤:根据数据备份的容器访问顺序信息,建立哈希表,其中:哈希表使用容器ID作为键,相同容器ID被映射到一起,并按访问时间排序组成队列;数据恢复步骤:在数据块进行恢复时,根据恢复缓存中的容器恢复数据块,所述恢复缓存中存储有根据所述哈希表确定的最近将被访问到的N个容器,所述N为所述恢复缓存中能够存储容器的个数。本发明还提供了相应的缓存替换系统。本发明方法最优缓存替换策略的缓存命中率更高,减少了读取容器的次数,增加了恢复性能。

    一种基于全局统计的去碎片方法及系统

    公开(公告)号:CN103885859A

    公开(公告)日:2014-06-25

    申请号:CN201410089576.X

    申请日:2014-03-12

    Abstract: 本发明公开了一种基于全局统计的去碎片方法,包括:确定待备份的数据流中的各重复数据块,统计各重复数据块所对应的被引用段中所有被引用数据的长度,得到段引用缓冲区;计算待备份的数据流中的各重复数据块所对应的被引用段中所有被引用数据的长度与该被引用段的长度的比值,并判断该比值是否小于设定阈值,若是则将该重复数据块写入段中。本发明还提供了一种基于全局统计的去碎片系统。本发明统计得到各重复数据块所对应的被引用段中所有被引用数据的长度,并计算各重复数据块所对应的被引用段的段引用率,将段引用率小于设定阈值的数据段所对应的重复数据块判定为数据碎片,将这些数据碎片写入段中,可达到去碎片以提高恢复性能的目的。

    一种适用于备份系统的安全数据去重方法和系统

    公开(公告)号:CN103530201A

    公开(公告)日:2014-01-22

    申请号:CN201310301670.2

    申请日:2013-07-17

    Abstract: 本发明公开了一种适用于备份系统的安全数据去重方法,包括:接收用户提交的备份请求,对需要备份的每个文件进行分块,以得到多个不同大小的数据块,使用哈希算法计算每个数据块的哈希值F1来作为数据块的加密密钥,再次使用哈希算法计算每个数据块哈希值F1的哈希值F2作为该数据块的指纹来识别重复数据块,并采用经典加密算法使用用户的私钥对数据块的哈希值F1进行加密以得到数据哈希值F1的密文E(F1)来保护数据块的加密密钥。将所有数据块指纹F2等顺序打包成指纹段发送传输到存储服务器。本发明中所有通信过程采用安全套接层协议。本发明通过采用该安全数据去重方法,能够保证在数据去重率不变的基础上,防止数据丢失、篡改等存储安全问题。

    一种基于相似性与局部性结合的重复数据删除方法

    公开(公告)号:CN102222085A

    公开(公告)日:2011-10-19

    申请号:CN201110127695.6

    申请日:2011-05-17

    Inventor: 冯丹 夏文 华宇

    Abstract: 本发明提供了一种重复数删除方法,该方法将数据的相似性与局部性相结合,系统内存开销少且重复数据删除效率高。该方法首先对数据流中的文件进行分块、分组,确定每个数据组的相似性单元及代表指纹,并将代表指纹保存在内存中;然后遍历所有数据组,进行相似性判断,确定哪些数据组完全为重复数据,哪些数据组存在非重复数据。若数据组中存在非重复数据,还可以继续进行局部性判断,进一步确定该数据组内哪些数据为重复数据。该方法只保存代表指纹到内存,大大减少了内存开销;通过对数据流局部性的挖掘并缓存数据的局部性到内存中,可以在相似性判断后进行补充,能够找到更多的重复数据,同时可以避免频繁的访问磁盘索引,提高内存的利用率。

Patent Agency Ranking