压缩文件索引建立及索引方法和装置

    公开(公告)号:CN117785802A

    公开(公告)日:2024-03-29

    申请号:CN202211159738.3

    申请日:2022-09-22

    IPC分类号: G06F16/13

    摘要: 本申请公开了一种压缩文件索引建立及索引方法和装置。在该方法中,获取原始数据块的逻辑块地址,原始数据块对应的压缩数据块的物理块地址,以及预设的二层索引节点中存储的原始数据块的逻辑块地址的固定长度;根据原始数据块的逻辑块地址和所述固定长度,确定原始数据块对应的二层索引节点;在二层索引节点中顺序写入原始数据块的逻辑块地址与压缩数据块的物理块地址的映射关系,得到二层索引;将二层索引节点存储至存储器,并记录存储二层索引节点的物理块地址;根据二层索引节点的物理块地址和原始数据块的逻辑块地址,生成一层索引。由于本申请建立的一层索引提供大范围检索能力,二层索引提供小范围检索,从而可以提高存储系统的查询性能。

    一种数据压缩方法和装置

    公开(公告)号:CN107888197A

    公开(公告)日:2018-04-06

    申请号:CN201711049408.8

    申请日:2017-10-31

    IPC分类号: H03M7/30 H03M7/40

    摘要: 本发明实施例提供了一种数据压缩方法和装置,其中,所述方法包括:从第一压缩数据中提取特征信息,其中,所述第一压缩数据是采用第一压缩算法对初始数据进行压缩得到的;依据所述特征信息构造中间数据,其中,所述中间数据包括:未匹配字段、匹配偏移量和匹配长度;采用第二压缩算法对所述中间数据进行压缩;进而本发明实施例能够利用第二压缩算法对第一压缩数据进行压缩,省略了将第一压缩数据的解压的过程,从而节约了将第一压缩数据转换为第二压缩数据的时间,提高了数据压缩的效率。

    数据压缩方法、设备与计算设备

    公开(公告)号:CN110419036B

    公开(公告)日:2022-04-12

    申请号:CN201680089676.X

    申请日:2016-09-30

    IPC分类号: G06F16/22

    摘要: 一种数据压缩方法,常用于存储阵列中。该方法通过将待压缩数据所在的存储空间的起始逻辑地址的末尾n bit地址设置为0,使得后续对该待压缩数据进行压缩的过程中,对哈希表的读写操作均更加简单,提升了压缩速度。

    一种编码方法及装置
    5.
    发明授权

    公开(公告)号:CN105426413B

    公开(公告)日:2018-05-04

    申请号:CN201510733615.X

    申请日:2015-10-31

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种编码方法及装置,用于解决在采用Delta编码时数据压缩效率较低的技术问题。该方法中,在得到目标块中第一子目标块时,先将其进行哈希运算,然后根据运算结果在第一哈希表中查询对应的哈希值,再根据查询到的哈希值在参考块中找到相应的位置,即找到第一参考数据,将第一子目标块的首个目标数据与第一参考数据进行匹配,将目标块中的第二目标数据与参考块中的第二参考数据进行匹配。这样,通过预先确定出一个大概的位置,缩小了需要匹配的范围,节省了数据压缩的时间,提高了数据压缩的效率。

    闪存控制器、闪存控制方法和固态硬盘

    公开(公告)号:CN106502581A

    公开(公告)日:2017-03-15

    申请号:CN201610874201.3

    申请日:2016-09-30

    IPC分类号: G06F3/06

    摘要: 本发明实施例涉及闪存控制器、闪存控制方法和固态硬盘。闪存控制器包括:多个命令生成模块和至少一个命令执行模块。第二命令生成模块用于在第一命令生成模块向目标命令执行模块发送第一命令与数据传输命令之后且向目标命令执行模块发送第一状态查询命令之前,向目标命令执行模块发送第二命令与数据传输命令,第一命令与数据传输命令对应第一闪存颗粒,第二命令与数据传输命令对应第二闪存颗粒,第一闪存颗粒与第二闪存颗粒通过同一根总线与目标命令执行模块相连。目标命令执行模块用于确定与第二命令与数据传输命令相对应的控制逻辑,并向第二闪存颗粒发送该控制逻辑。能够避免多个请求访问同一根总线上的闪存颗粒时出现阻塞,提高系统吞吐率。

    数据压缩装置及方法
    7.
    发明公开

    公开(公告)号:CN105743509A

    公开(公告)日:2016-07-06

    申请号:CN201610052310.7

    申请日:2016-01-26

    IPC分类号: H03M7/30

    CPC分类号: H03M7/30

    摘要: 本发明公开了一种数据压缩方法,属于数据处理领域。所述方法包括:获取待压缩数据与m个参考数据块,m大于1,且m为整数;将该待压缩数据与该m个参考数据块进行匹配,获得至少一个索引编码,每个索引编码包括参考数据块标识和字符串信息,每个参考数据块标识指示m个参考数据块中的一个参考数据块,每个字符串信息指示待压缩数据中的连续字符串在参考数据块中的位置信息;实现了通过多个参考数据块对待压缩数据进行压缩来提升压缩效率。

    存储系统数据压缩的方法、装置、设备及可读存储介质

    公开(公告)号:CN112544038B

    公开(公告)日:2024-07-05

    申请号:CN201980008298.1

    申请日:2019-07-22

    IPC分类号: H03M7/30

    摘要: 本申请公开了一种存储系统数据压缩的方法、装置、设备及可读存储介质,所述方法涉及存储技术领域,所述方法包括:在存储目标数据块时,确定目标数据块能否进行重复数据删除,当目标数据块不能进行重复数据删除时,获取目标数据块的相似指纹,根据相似指纹,确定目标数据块所属的合并数据块组,基于合并数据块组中的参考块,对目标数据块进行相似压缩。这样,可以提升缩减率。

    存储系统中的数据存储方法及相关设备

    公开(公告)号:CN112988041A

    公开(公告)日:2021-06-18

    申请号:CN201911312004.2

    申请日:2019-12-18

    IPC分类号: G06F3/06

    摘要: 本发明实施例提供了存储系统中的数据存储方法及相关设备,该方法包括:计算第一待存储数据的相似指纹得到第一相似指纹;其中,该第一相似指纹用于判断该第一待存储数据与已存储数据是否相似;根据该第一相似指纹确定出参考数据;其中,该参考数据的相似指纹为该第一相似指纹;根据该参考数据确定该待存储数据与该参考数据之间的第一差异数据;其中,该参考数据存储在第一存储单位中;将该第一差异数据存储到第二存储单位;其中,该第一存储单位和该第二存储单位属于同一个读IO的读取范围。采用本发明实施例,能够避免读放大和提升读性能。

    存储系统数据压缩的方法、装置、设备及可读存储介质

    公开(公告)号:CN112544038A

    公开(公告)日:2021-03-23

    申请号:CN201980008298.1

    申请日:2019-07-22

    IPC分类号: H03M7/30

    摘要: 本申请公开了一种存储系统数据压缩的方法、装置、设备及可读存储介质,所述方法涉及存储技术领域,所述方法包括:在存储目标数据块时,确定目标数据块能否进行重复数据删除,当目标数据块不能进行重复数据删除时,获取目标数据块的相似指纹,根据相似指纹,确定目标数据块所属的合并数据块组,基于合并数据块组中的参考块,对目标数据块进行相似压缩。这样,可以提升缩减率。