一种冗余数据标记及去除方法
    11.
    发明公开

    公开(公告)号:CN113672170A

    公开(公告)日:2021-11-19

    申请号:CN202110838878.2

    申请日:2021-07-23

    Abstract: 本发明涉及一种冗余数据标记及去除方法,属于数据存储技术领域。所述方法包括:写入文件时,对所述文件进行动态可变长分割,形成不同长度的多个数据块;对所述多个数据块进行分组,得到数据块组,并计算每个数据块以及所述数据块组的布隆值;对所述数据块的布隆值进行处理,形成所述数据块的特征值;判断所述数据块的特征值是否存在于元数据库中;若所述元数据库中已存在所述数据块的特征值,则再次计算所述数据块的布隆值,将其与元数据库中各个数据块组的布隆值进行比较,定位所述数据块的相似组,确定冗余数据块;标记所述冗余数据块,并根据预定的策略删除或保留所述冗余数据块。本方法具有冗余识别率高、高可靠性、高鲁棒性、资源占用少的优点。

Patent Agency Ranking