-
公开(公告)号:CN110945483B
公开(公告)日:2023-01-13
申请号:CN201780093463.9
申请日:2017-08-25
Applicant: 华为技术有限公司(CN)
IPC: G06F11/14 , G06F16/215
Abstract: 本发明提供一种存储重复数据删除后的数据的网络系统100。所述网络系统100包括共用网络可接入储存库101,所述储存库101存储一个或多个容器102。每个容器102包括一个或多个数据段103和每个数据段103的第一段元数据104。所述网络系统100还包括多个备用节点105。针对所述储存库101中的至少一个容器102,备用节点105存储所述容器102的每个数据段103的第二段元数据106,所述第二段元数据106至少包括所述容器102的每个数据段103的活跃度指示符107。
-
公开(公告)号:CN107534445A
公开(公告)日:2018-01-02
申请号:CN201680005071.8
申请日:2016-04-19
Applicant: 华为技术有限公司
Abstract: 一种采用向量分割输入数据流的系统,包括:处理器,用于在整个输入数据流中重复以下步骤以创建包括多个分段的分割的数据流:在输入数据流的连续数据项的序列上应用滚动序列,其中,所述滚动序列包括所述序列的连续数据项的子集;由所述处理器的处理管线分别为多个部分滚动序列同时计算部分哈希值,其中,每个部分滚动序列包括所述子集的间隔均匀的数据项;确定所述多个部分哈希值中的每一个对一个或多个相应的部分分割标准的符合性;当所述部分哈希值中的至少一些符合相应的部分分割标准时,将所述序列指定为可变长度分段。
-
公开(公告)号:CN109964217B
公开(公告)日:2021-11-09
申请号:CN201780041621.6
申请日:2017-08-25
Applicant: 华为技术有限公司
IPC: G06F16/16 , G06F16/13 , G06F16/174
Abstract: 本发明涉及一种将接收的数据块101存储为去重数据块102的装置100,包括:存储库103,存储一个或多个容器104,每个容器104中存储有一个或多个数据段105和每个数据段105的段元数据106;以及数据库107,存储多个去重数据块102,每个去重数据块102包含多个对所述接收的数据块101的所述数据段105和对存储这些数据段105的所述容器104的引用108,其中,所述装置100用于在所述存储库103中维护多个块备份文件109,每个块备份文件109中存储有一个或多个去重数据块102的副本,以及所述装置100用于将所述数据库107中的去重数据块102与所述块备份文件109相关联,所述块备份文件109中存储有所述去重数据块102的副本。
-
公开(公告)号:CN108141225B
公开(公告)日:2020-10-27
申请号:CN201680058318.2
申请日:2016-07-14
Applicant: 华为技术有限公司
IPC: H03M7/30
Abstract: 一种用于对输入数据流进行压缩以创建压缩输出数据流的系统,包括用于存储哈希表的存储器,所述哈希表包括哈希表项,每个哈希表项包括输入数据流的数据项的一个相关子集的哈希值以及指向所述相关子集的存储器位置的指针。耦合到所述存储器的处理器执行以下操作,同时指示SIMD引擎针对连续子集并发执行所述操作中的一个或多个:针对每个子集计算所述哈希值,搜索所述哈希表以查找每个计算出的哈希值的匹配项,以及根据所述匹配结果更新所述哈希表。然后所述处理器根据所述匹配结果和基于所述匹配结果的比较结果来更新所述压缩输出数据流,并且对所述多个相关子集执行操作以创建所述压缩输出数据流。
-
公开(公告)号:CN110945483A
公开(公告)日:2020-03-31
申请号:CN201780093463.9
申请日:2017-08-25
Applicant: 华为技术有限公司
IPC: G06F11/14 , G06F16/215
Abstract: 本发明提供一种存储重复数据删除后的数据的网络系统100。所述网络系统100包括共用网络可接入储存库101,所述储存库101存储一个或多个容器102。每个容器102包括一个或多个数据段103和每个数据段103的第一段元数据104。所述网络系统100还包括多个备用节点105。针对所述储存库101中的至少一个容器102,备用节点105存储所述容器102的每个数据段103的第二段元数据106,所述第二段元数据106至少包括所述容器102的每个数据段103的活跃度指示符107。
-
公开(公告)号:CN107534445B
公开(公告)日:2020-03-10
申请号:CN201680005071.8
申请日:2016-04-19
Applicant: 华为技术有限公司
IPC: H03M7/30 , G06F16/901
Abstract: 一种采用向量分割输入数据流的系统,包括:处理器,用于在整个输入数据流中重复以下步骤以创建包括多个分段的分割的数据流:在输入数据流的连续数据项的序列上应用滚动序列,其中,所述滚动序列包括所述序列的连续数据项的子集;由所述处理器的处理管线分别为多个部分滚动序列同时计算部分哈希值,其中,每个部分滚动序列包括所述子集的间隔均匀的数据项;确定所述多个部分哈希值中的每一个对一个或多个相应的部分分割标准的符合性;当所述部分哈希值中的至少一些符合相应的部分分割标准时,将所述序列指定为可变长度分段。
-
公开(公告)号:CN105917304A
公开(公告)日:2016-08-31
申请号:CN201480041259.9
申请日:2014-12-09
Applicant: 华为技术有限公司
Inventor: 亚伊尔·托弗
IPC: G06F3/06
CPC classification number: G06F16/1752 , G06F3/0641 , G06F3/0604
Abstract: 描述了一种用于重复数据删除的装置和方法。所述装置包括用于接收数据块的接口以及耦合至所述接口的重复数据删除引擎,所述重复数据删除引擎用于基于使用从所述数据块中计算所得的多个值查询索引对所述数据块进行重复数据删除,以及将多个新条目插入至所述索引中,每个条目对应于所述多个值中的一个值,其中为了将所述多个新条目插入至所述索引中,所述重复数据删除引擎还用于:为每个新条目确定所述索引中对应于相同值的条目数量;如果所述条目数量超过阈值,将所述条目中的一个条目替换为所述新条目。
-
公开(公告)号:CN113227988B
公开(公告)日:2024-12-10
申请号:CN201980085764.6
申请日:2019-07-03
Applicant: 华为技术有限公司
IPC: G06F12/0868 , G06F12/0804
Abstract: 公开了一种信息处理设备和方法,更具体地,公开了一种用于保持高性能缓存中的摘要一致性的设备和方法。所述设备包括存储器,所述存储器包括一个或多个缓存和摘要结构,所述一个或多个缓存用于存储与多个对象中的至少一个对象相关的信息,所述摘要结构用于存储所述多个对象中的至少一个对象的至少一个摘要。此外,所述设备包括存储装置,所述存储装置包括卷,所述卷用于存储包括所述多个对象的至少一个合并文件和转储文件集,每个转储文件与所述一个或多个缓存的特定缓存转储操作相关联。所述设备还包括处理器,所述处理器用于:将第一标识分配给所述一个或多个缓存中的缓存;执行缓存转储操作,生成与所述第一标识相关联的转储文件,并且将所述缓存中的与所述至少一个对象相关的信息存储到所生成的转储文件;然后将第二标识分配给所述一个或多个缓存中的缓存,其中所述第二标识大于所述第一标识。
-
公开(公告)号:CN117280340A
公开(公告)日:2023-12-22
申请号:CN202180097626.7
申请日:2021-04-30
Applicant: 华为技术有限公司
IPC: G06F16/901
Abstract: 提供了一种用于在数据存储系统(200)中索引数据项的计算机实现的方法。所述方法包括将所述数据项划分为一个或多个大块(302A‑C)。所述方法包括将每个大块(302A)划分为一个或多个小块。所述方法包括为所述小块中的每个小块计算强哈希值,并将具有指针的强哈希值列表存储到所述大块(302A)的位置。所述方法包括从为每个大块(302A)计算的所述强哈希值列表中为所述大块选择一个或多个代表性哈希值。所述方法包括编译稀疏索引(310),所述稀疏索引包括每个大块(302A)的条目(312A)。每个条目(312A)是基于所述代表性哈希值和指向每个大块(302A)的所述强哈希值列表的指针的。
-
公开(公告)号:CN109964217A
公开(公告)日:2019-07-02
申请号:CN201780041621.6
申请日:2017-08-25
Applicant: 华为技术有限公司
IPC: G06F16/16 , G06F16/13 , G06F16/174
Abstract: 本发明涉及一种将接收的数据块101存储为去重数据块102的装置100,包括:存储库103,存储一个或多个容器104,每个容器104中存储有一个或多个数据段105和每个数据段105的段元数据106;以及数据库107,存储多个去重数据块102,每个去重数据块102包含多个对所述接收的数据块101的所述数据段105和对存储这些数据段105的所述容器104的引用108,其中,所述装置100用于在所述存储库103中维护多个块备份文件109,每个块备份文件109中存储有一个或多个去重数据块102的副本,以及所述装置100用于将所述数据库107中的去重数据块102与所述块备份文件109相关联,所述块备份文件109中存储有所述去重数据块102的副本。
-
-
-
-
-
-
-
-
-