一种并发层次式的重复数据消除方法和系统

    公开(公告)号:CN101916171A

    公开(公告)日:2010-12-15

    申请号:CN201010233608.0

    申请日:2010-07-16

    Abstract: 本发明公开了一种并发层次式的重复数据消除方法和系统。所述方法包括下列步骤:输入装置接收到外部输入的数据,并将所述数据放入共享缓冲队列;多个分块装置并行地从所述缓冲队列中获取所述数据并进行分块,并将划分后的块输入给多个粗粒度去重装置进行粗粒度去重;所述粗粒度去重装置进行粗粒度去重,判断数据块是否重复,若是,则将重复数据块的索引信息通过数据读写子系统写入存储器;否则细粒度去重装置对非重复的数据块执行细粒度的去重,并将去重后的数据块及其索引信息通过数据读写子系统存入存储器。

Patent Agency Ranking