基于重复数据删除的日志文件系统的垃圾回收方法

    公开(公告)号:CN107391774B

    公开(公告)日:2019-11-19

    申请号:CN201710834662.2

    申请日:2017-09-15

    Applicant: 厦门大学

    Abstract: 基于重复数据删除的日志文件系统的垃圾回收方法,涉及计算机数据存储方法。由初始化、并行的数据处理、垃圾回收和结束步骤。根据重复数据删除技术得到的数据块的引用值,将数据分为强数据和弱数据,然后在日志文件系统进行垃圾回收时将强数据块和弱数据块分别迁移到不同的数据段中,从而实现强弱数据的分开存储。对于强数据段,段内数据块的失效率低,进行垃圾回收的次数就少,对于弱数据段,段内数据块的失效率高,进行垃圾回收时需要迁移的有效数据块就少。因此,这种基于重复数据删除的日志文件系统的垃圾回收方法可以有效地减少日志文件系统中垃圾回收时迁移数据块的次数,进而可以提高闪存存储系统的性能和可靠性。

    一种固态盘阵列的缓存管理方法

    公开(公告)号:CN105138277A

    公开(公告)日:2015-12-09

    申请号:CN201510438224.5

    申请日:2015-07-23

    Applicant: 厦门大学

    Abstract: 一种固态盘阵列的缓存管理方法,涉及计算机存储领域。在固态盘阵列上设置有主控模块、垃圾回收控制模块、缓存管理模块和优先缓存记录表;所述缓存管理方法包括以下步骤:1)初始化步骤;2)垃圾回收感知步骤;3)缓存管理步骤;4)结束步骤。充分利用存储系统中数据访问的时间局部性和空间局部性以及固态盘阵列的缓存存储特性,通过在缓存上提前优先存储将要进行垃圾回收操作的固态盘的热点数据的缓存管理方法来减轻垃圾回收操作对固态盘阵列性能波动的负面影响。能够和固态盘阵列功能模块协同工作,并且可以被嵌入到现有的固态盘阵列系统中,包括硬件和软件固态盘阵列系统。适用于构造具有高性能、高可用性和高可靠性的固态盘存储系统。

    基于应用感知的重复数据删除存储系统中的数据重构方法

    公开(公告)号:CN104978151A

    公开(公告)日:2015-10-14

    申请号:CN201510345510.7

    申请日:2015-06-19

    Abstract: 基于应用感知的重复数据删除存储系统中的数据重构方法,涉及计算机存储领域。充分利用所备份文件的文件类型信息,对所有文件按文件类型进行分类,再按文件类型对文件进行备份,以提高数据读取时的数据重构速度。由并行的数据写入阶段和数据读取阶段组成,所述备份文件的数据写入阶段由文件分类步骤、文件分块步骤、哈希指纹计算步骤、重复数据删除步骤和数据写入步骤顺序组成;所述备份文件的数据读取阶段由文件分类信息获取步骤、文件指纹信息获取步骤、文件数据块获取步骤、数据重构完成步骤顺序组成。通过改变传统重复数据删除过程中的数据写入方法以提高数据读取时的数据重构速度。

    一种DPU任务调度方法和DPU任务调度系统

    公开(公告)号:CN119576494A

    公开(公告)日:2025-03-07

    申请号:CN202411646981.7

    申请日:2024-11-18

    Applicant: 厦门大学

    Abstract: 本发明公开了一种DPU任务调度方法和DPU任务调度系统,该方法用于将任务调度至CPU侧或DPU侧,其包括:根据待处理的任务信息,生成任务包;根据任务包的计算量、截止时间以及DPU侧是否存在针对该任务包的专用硬件,计算任务包的优先级;根据任务包的优先级,将任务包存储至调度队列中与其优先级对应的位置,并按顺序向CPU侧或DPU侧输送任务包;根据CPU侧或DPU侧对接收的任务包的执行结果,更新调度队列。通过该调度方法和调度系统,可通过对任务进行有效调度以提高系统整体性能。

    基于子文件的数据重删方法、装置及可读介质

    公开(公告)号:CN116775588A

    公开(公告)日:2023-09-19

    申请号:CN202310793835.6

    申请日:2023-06-30

    Abstract: 本发明公开了一种基于子文件的数据重删方法、装置及可读介质,获取输入文件,判断输入文件为Office文件或Pdf文件;响应于确定输入文件为Office文件,循环解析Office文件中的局部文件数据,对局部文件数据计算指纹信息,并存入recipe,直至检测到中央目录记录;响应于确定输入文件为Pdf文件,对Pdf文件解析得到stream数据,对stream数据计算指纹信息,并存入recipe;将Office文件中的局部文件数据以及Pdf文件中的stream数据定义为数据块,查询数据块对应的指纹信息是否存在于持久化存储介质的元数据保存结构体数组中,得到查询结果,根据查询结果进行重删,可有效提高重删效率。

    一种基于比特翻转的固态盘数据存储方法和装置

    公开(公告)号:CN112181710B

    公开(公告)日:2022-03-29

    申请号:CN202010953993.X

    申请日:2020-09-11

    Applicant: 厦门大学

    Abstract: 本发明公开了一种基于比特翻转的固态盘数据存储方法和装置,其中方法包括:初始化步骤:接收写入请求,在内存中初始化用于储存数值的变量;数据比特计数与翻转步骤:对传入的每个基本单位内的比特状态进行统计分析,确定是否进行比特翻转操作,设置相应的翻转标记位,并进行相应的操作,得到处理后的数据;数据封装步骤:将处理后的数据按照原有的数据顺序,进行封装,并将相应的翻转标记位按顺序封装成页面标记位;数据写入步骤:将经过封装后的数据和页面标记位,分别写入存储介质的数据区域和备用区域。本发明提出的方法针对固态盘内存储单元的不同状态泄露电子的概率不同,通过比特翻转的操作降低固态盘内易失电子的状态数量,以提高固态盘的读写性能、使用寿命和可靠性。

    一种基于比特翻转的固态盘数据存储方法和装置

    公开(公告)号:CN112181710A

    公开(公告)日:2021-01-05

    申请号:CN202010953993.X

    申请日:2020-09-11

    Applicant: 厦门大学

    Abstract: 本发明公开了一种基于比特翻转的固态盘数据存储方法和装置,其中方法包括:初始化步骤:接收写入请求,在内存中初始化用于储存数值的变量;数据比特计数与翻转步骤:对传入的每个基本单位内的比特状态进行统计分析,确定是否进行比特翻转操作,设置相应的翻转标记位,并进行相应的操作,得到处理后的数据;数据封装步骤:将处理后的数据按照原有的数据顺序,进行封装,并将相应的翻转标记位按顺序封装成页面标记位;数据写入步骤:将经过封装后的数据和页面标记位,分别写入存储介质的数据区域和备用区域。本发明提出的方法针对固态盘内存储单元的不同状态泄露电子的概率不同,通过比特翻转的操作降低固态盘内易失电子的状态数量,以提高固态盘的读写性能、使用寿命和可靠性。

    基于重复数据删除的日志文件系统的垃圾回收方法

    公开(公告)号:CN107391774A

    公开(公告)日:2017-11-24

    申请号:CN201710834662.2

    申请日:2017-09-15

    Applicant: 厦门大学

    Abstract: 基于重复数据删除的日志文件系统的垃圾回收方法,涉及计算机数据存储方法。由初始化、并行的数据处理、垃圾回收和结束步骤。根据重复数据删除技术得到的数据块的引用值,将数据分为强数据和弱数据,然后在日志文件系统进行垃圾回收时将强数据块和弱数据块分别迁移到不同的数据段中,从而实现强弱数据的分开存储。对于强数据段,段内数据块的失效率低,进行垃圾回收的次数就少,对于弱数据段,段内数据块的失效率高,进行垃圾回收时需要迁移的有效数据块就少。因此,这种基于重复数据删除的日志文件系统的垃圾回收方法可以有效地减少日志文件系统中垃圾回收时迁移数据块的次数,进而可以提高闪存存储系统的性能和可靠性。

    一种固态盘阵列的垃圾回收方法

    公开(公告)号:CN103530237B

    公开(公告)日:2016-02-17

    申请号:CN201310528584.5

    申请日:2013-10-31

    Applicant: 厦门大学

    Abstract: 一种固态盘阵列的垃圾回收方法,涉及计算机数据存储方法。在固态盘阵列上设置重定向数据映射表和四个功能模块:主控、垃圾回收控制、请求重定向和数据回收,包括初始化步骤、垃圾回收阶段、数据回收阶段和结束步骤等。当某一个正在处理垃圾回收操作的固态盘接收到用户读写请求时,本发明将读请求重定向到固态盘阵列中其他成员固态盘上并通过重构读机制获取读数据;将写请求重定向到热备盘也就是将数据写入到热备盘中,同时更新相应的校验信息;垃圾回收操作完成后,将被重定向到热备盘的写数据回收到固态盘阵列上正确的位置。减轻垃圾回收操作对固态盘阵列系统性能波动的影响,提高固态盘阵列的性能。

    一种固态盘阵列的垃圾回收方法

    公开(公告)号:CN103530237A

    公开(公告)日:2014-01-22

    申请号:CN201310528584.5

    申请日:2013-10-31

    Applicant: 厦门大学

    Abstract: 一种固态盘阵列的垃圾回收方法,涉及计算机数据存储方法。在固态盘阵列上设置重定向数据映射表和四个功能模块:主控、垃圾回收控制、请求重定向和数据回收,包括初始化步骤、垃圾回收阶段、数据回收阶段和结束步骤等。当某一个正在处理垃圾回收操作的固态盘接收到用户读写请求时,本发明将读请求重定向到固态盘阵列中其他成员固态盘上并通过重构读机制获取读数据;将写请求重定向到热备盘也就是将数据写入到热备盘中,同时更新相应的校验信息;垃圾回收操作完成后,将被重定向到热备盘的写数据回收到固态盘阵列上正确的位置。减轻垃圾回收操作对固态盘阵列系统性能波动的影响,提高固态盘阵列的性能。

Patent Agency Ranking