-
公开(公告)号:CN110941514B
公开(公告)日:2022-05-20
申请号:CN201911166855.0
申请日:2019-11-25
Applicant: 湖北工业大学
IPC: G06F11/14
Abstract: 一种数据备份方法、恢复方法、计算机设备和存储介质。本发明提供了一种数据备份、数据恢复方法,备份如下:S11.初始化一个哈希表HTB,哈希表HTB的关键码为数据块指纹,值为该数据块指纹在本次备份中的出现次数;S22.对每个被数据去重处理过的数据块的数据块指纹,查找所述数据块指纹是否存在于哈希表HTB中:S2201.如果存在,将其出现次数加1;S2202.如果不存在,插入一条记录到哈希表HTB中,记录的关键码为该数据块的指纹,值为其出现次数,赋值为1;S33.重复步骤S22直到备份结束,并将哈希表HTB中所有出现次数大于等于2的数据块指纹和出现次数写入磁盘。通过在备份过程中收集自引用数据块信息,并在恢复过程中将自引用数据块保存在内存中以消除自引用碎片块导致的磁盘读操作,提高恢复性能。
-
公开(公告)号:CN110083487A
公开(公告)日:2019-08-02
申请号:CN201910274515.3
申请日:2019-04-08
Applicant: 湖北工业大学
Inventor: 张宇成
IPC: G06F11/14
Abstract: 本发明公开了一种基于数据局部性的引用数据块碎片消除方法及系统,在备份时模拟一个恢复时的缓存来判断当前数据块的引用数据块是否在模拟的恢复缓存中,若存在则对当前数据块做差量压缩,否则则放弃其差量压缩。本发明还提供了一种基于数据局部性的去引用数据块碎片系统。本发明在备份时模拟一个恢复缓存,对当前数据块查找其引用数据块并判断该引用数据块是否存在模拟的恢复缓存中,如果存在则读取引用数据块进行差量压缩;如果引用数据块不在模拟的恢复缓存内,当前数据块的引用数据块在恢复时会引起额外的读磁盘操作,属于碎片,因此放弃当前数据块的差量压缩来避免引用数据块的碎片化以提高恢复性能。
-
公开(公告)号:CN110516693A
公开(公告)日:2019-11-29
申请号:CN201910274521.9
申请日:2019-04-08
Applicant: 湖北工业大学
Inventor: 张宇成
IPC: G06K9/62
Abstract: 本发明公开了一种基于特征值局部性的相似数据检测方法,包括特征值计算、特征值打包和相似数据查找。与现有方法不同之处在于:1、本发明将数据块划分成固定个(假设为N个)等长度的子区域,从每个子区域中提取出一个特征值,由此得到N个特征值;2、本发明打包到同一个超级特征值里的特征值所属的子区域均匀分布在数据块上。第一个不同点使本发明在需要提取更多特征值时,只需将数据块划分成更多子区域即可,没有额外计算开销,因此可获得远高于现有相似数据检测方法的吞吐量;第二个不同点使本发明不会与传统的相似数据检测方法一样,可能会因为两个非相似数据块间有一小块内容相同则可能被认为相似,因此可以获得更高的准确度。
-
-
公开(公告)号:CN110083487B
公开(公告)日:2022-11-18
申请号:CN201910274515.3
申请日:2019-04-08
Applicant: 湖北工业大学
Inventor: 张宇成
IPC: G06F11/14
Abstract: 本发明公开了一种基于数据局部性的引用数据块碎片消除方法及系统,在备份时模拟一个恢复时的缓存来判断当前数据块的引用数据块是否在模拟的恢复缓存中,若存在则对当前数据块做差量压缩,否则则放弃其差量压缩。本发明还提供了一种基于数据局部性的去引用数据块碎片系统。本发明在备份时模拟一个恢复缓存,对当前数据块查找其引用数据块并判断该引用数据块是否存在模拟的恢复缓存中,如果存在则读取引用数据块进行差量压缩;如果引用数据块不在模拟的恢复缓存内,当前数据块的引用数据块在恢复时会引起额外的读磁盘操作,属于碎片,因此放弃当前数据块的差量压缩来避免引用数据块的碎片化以提高恢复性能。
-
-
公开(公告)号:CN110941514A
公开(公告)日:2020-03-31
申请号:CN201911166855.0
申请日:2019-11-25
Applicant: 湖北工业大学
IPC: G06F11/14
Abstract: 一种数据备份方法、恢复方法、计算机设备和存储介质。本发明提供了一种数据备份、数据恢复方法,备份如下:S11.初始化一个哈希表HTB,哈希表HTB的关键码为数据块指纹,值为该数据块指纹在本次备份中的出现次数;S22.对每个被数据去重处理过的数据块的数据块指纹,查找所述数据块指纹是否存在于哈希表HTB中:S2201.如果存在,将其出现次数加1;S2202.如果不存在,插入一条记录到哈希表HTB中,记录的关键码为该数据块的指纹,值为其出现次数,赋值为1;S33.重复步骤S22直到备份结束,并将哈希表HTB中所有出现次数大于等于2的数据块指纹和出现次数写入磁盘。通过在备份过程中收集自引用数据块信息,并在恢复过程中将自引用数据块保存在内存中以消除自引用碎片块导致的磁盘读操作,提高恢复性能。
-
公开(公告)号:CN110888918A
公开(公告)日:2020-03-17
申请号:CN201911168386.6
申请日:2019-11-25
Applicant: 湖北工业大学
IPC: G06F16/2458 , G06F16/21
Abstract: 本发明提供了一种相似数据检测方法及装置,具体包括:将长度为L的数据块划分成长度相等的N个子数据块,从每个子数据块中提取一个特征值,所述每个子数据块对应一个子区域,从而获得N个特征值F1到FN;将N个特征值F1到FN按照从小到大或者从大到小的顺序进行排序,并打包到M个超级特征值里;通过匹配所述M个超级特征值来查找相似的数据块,如果两个数据块对应的某个超级特征值相等,则两个数据块相似。本发明能够对存在相似数据的数据块进行逐一无遗漏的检测,并且便于后续备份数据块的相似数据检测,提高了数据冗余检测能力,继而有利于数据存储和恢复读取效率。
-
-
-
-
-
-
-