-
公开(公告)号:CN118092799A
公开(公告)日:2024-05-28
申请号:CN202410224135.X
申请日:2024-02-29
Applicant: 厦门大学
Abstract: 本发明一种基于重复数据删除的闪存性能和可靠性提升方法及系统,在固态盘上设置闪存重复数据删除系统的指纹索引表、重复数据删除功能、读写干扰检测功能、读请求位置重定向功能和数据恢复功能;当服务写入请求的时候,通过检测索引表来判断该请求是否需要删除,如果写请求的引用次数达到阈值需要将该数据进行备份;当服务读请求的时候,通过读写干扰模块检测数据读取的过程中是否被正在执行的写请求干扰,如果确定被写请求干扰则通过读请求位置重定向功能访问备份数据的位置。本发明在减少闪存空间开销的基础上,优化了因闪存读写干扰而带来的闪存性能下降问题,同时优化了因重复数据删除技术而导致的数据可靠性问题。
-
公开(公告)号:CN117992279A
公开(公告)日:2024-05-07
申请号:CN202311805718.3
申请日:2023-12-26
Applicant: 厦门大学
IPC: G06F11/14
Abstract: 本发明公开了一种基于DPU的纠删编解码卸载方法及DPU存储架构,将EC编解码功能分成三个部分,分别为存储数据、读取数据和恢复数据;所有数据的EC编解码与数据分布策略计算都由DPU去实现,CPU主要功能为检测本存储节点各个SSD与DPU的健康状况,与各个SSD空余空间状况。本发明一种基于DPU的EC编解码卸载方法与为其方法设定的一种专用高效率全硬件可实现DPU存储架构,通过DPU能够更快地处理相关数据计算,将CPU从EC编解码相关事务中完全释放。
-
公开(公告)号:CN116820343A
公开(公告)日:2023-09-29
申请号:CN202310801832.2
申请日:2023-06-30
Applicant: 杭州海康威视数字技术股份有限公司 , 厦门大学
IPC: G06F3/06 , G06F16/2453 , G06F16/22 , G06F16/215
Abstract: 本发明公开了一种基于变长指纹的数据重删方法、装置及可读介质,对输入文件进行分块,根据数据块的长度采用不同的哈希算法计算数据块对应的指纹;响应于在LRU缓存中查询不到该指纹,则根据该指纹所对应的哈希算法在不同的持久化存储介质中查询;响应于在持久化存储介质中查询到该指纹,将该指纹和元数据存入LRU缓存中,并利用局部性原理将包含该指纹的输入文件中同属于同一持久化存储介质的指纹全部存入LRU缓存中;响应于在持久化存储介质中查询不到该指纹,则构建该指纹的元数据并存储在对应的持久化存储介质,并将该指纹对应的数据块存储在开放容器中,在持久化存储介质中采用对应格式的指纹存储文件对元数据进行分类存储,加快查找。
-
公开(公告)号:CN115481055A
公开(公告)日:2022-12-16
申请号:CN202211166847.8
申请日:2022-09-23
Applicant: 厦门大学
IPC: G06F12/1009 , G06F12/02 , G06F12/0866
Abstract: 本发明提出一种基于多段线性回归模型的固态盘地址转换加速方法,包括初始化步骤、数据写操作步骤、垃圾回收与模型训练步骤以及数据读操作步骤;在固态盘的内存中为闪存中的全局映射表分组建立低开销的多段线性回归模型,并随固态盘的垃圾回收周期性更新。对于无法在需要局部性的热映射表中命中的逻辑页号,可以在模型中尝试命中,极大地减少了固态盘随机读场景下地址转换中的双读问题带来的查找开销,进而提高固态盘的随机读取性能。
-
公开(公告)号:CN110413454B
公开(公告)日:2022-04-05
申请号:CN201810404552.7
申请日:2018-04-28
IPC: G06F11/20
Abstract: 本申请实施例提供一种基于存储阵列的数据重建方法、装置及存储介质,该基于存储阵列的数据重建方法包括:当检测到第一成员盘出现故障时,获取预留阵列,存储阵列包括第一成员盘和至少两个第二成员盘,预留阵列包括第二成员盘的空闲空间;根据第二成员盘中数据,重建第一成员盘中的数据;将重建后的第一成员盘中的数据并行写入预留阵列。本申请实施例适用于固态硬盘阵列,且数据重建速率较高。
-
公开(公告)号:CN105045540B
公开(公告)日:2017-10-17
申请号:CN201510540940.4
申请日:2015-08-28
Applicant: 厦门大学
IPC: G06F3/06
Abstract: 一种固态盘阵列的数据布局方法,涉及计算机存储领域。固态盘阵列上设置四个功能模块即主控模块、请求处理模块、数据映射模块、数据读写模块和一致性维护模块,并设置一个数据映射表和多分块存储区域。包括初始化步骤、请求处理步骤、数据映射步骤、数据读/写步骤、一致性维护步骤和结束步骤。充分利用固态盘阵列的多种不同分块大小在读写操作和请求大小上的优势,综合使用多个分块大小而非单一地使用某一种分块大小,以提高固态盘阵列的整体性能。能够和固态盘阵列功能模块协同工作,并且可以被嵌入到现有的固态盘阵列系统中,包括硬件和软件固态盘阵列系统。适用于构造具有高性能、高可用性和高可靠性的固态盘存储系统。
-
公开(公告)号:CN119576494A
公开(公告)日:2025-03-07
申请号:CN202411646981.7
申请日:2024-11-18
Applicant: 厦门大学
Abstract: 本发明公开了一种DPU任务调度方法和DPU任务调度系统,该方法用于将任务调度至CPU侧或DPU侧,其包括:根据待处理的任务信息,生成任务包;根据任务包的计算量、截止时间以及DPU侧是否存在针对该任务包的专用硬件,计算任务包的优先级;根据任务包的优先级,将任务包存储至调度队列中与其优先级对应的位置,并按顺序向CPU侧或DPU侧输送任务包;根据CPU侧或DPU侧对接收的任务包的执行结果,更新调度队列。通过该调度方法和调度系统,可通过对任务进行有效调度以提高系统整体性能。
-
公开(公告)号:CN116775588A
公开(公告)日:2023-09-19
申请号:CN202310793835.6
申请日:2023-06-30
Applicant: 厦门大学 , 杭州海康威视数字技术股份有限公司
IPC: G06F16/174 , G06F16/14
Abstract: 本发明公开了一种基于子文件的数据重删方法、装置及可读介质,获取输入文件,判断输入文件为Office文件或Pdf文件;响应于确定输入文件为Office文件,循环解析Office文件中的局部文件数据,对局部文件数据计算指纹信息,并存入recipe,直至检测到中央目录记录;响应于确定输入文件为Pdf文件,对Pdf文件解析得到stream数据,对stream数据计算指纹信息,并存入recipe;将Office文件中的局部文件数据以及Pdf文件中的stream数据定义为数据块,查询数据块对应的指纹信息是否存在于持久化存储介质的元数据保存结构体数组中,得到查询结果,根据查询结果进行重删,可有效提高重删效率。
-
公开(公告)号:CN112181710B
公开(公告)日:2022-03-29
申请号:CN202010953993.X
申请日:2020-09-11
Applicant: 厦门大学
Abstract: 本发明公开了一种基于比特翻转的固态盘数据存储方法和装置,其中方法包括:初始化步骤:接收写入请求,在内存中初始化用于储存数值的变量;数据比特计数与翻转步骤:对传入的每个基本单位内的比特状态进行统计分析,确定是否进行比特翻转操作,设置相应的翻转标记位,并进行相应的操作,得到处理后的数据;数据封装步骤:将处理后的数据按照原有的数据顺序,进行封装,并将相应的翻转标记位按顺序封装成页面标记位;数据写入步骤:将经过封装后的数据和页面标记位,分别写入存储介质的数据区域和备用区域。本发明提出的方法针对固态盘内存储单元的不同状态泄露电子的概率不同,通过比特翻转的操作降低固态盘内易失电子的状态数量,以提高固态盘的读写性能、使用寿命和可靠性。
-
公开(公告)号:CN112181710A
公开(公告)日:2021-01-05
申请号:CN202010953993.X
申请日:2020-09-11
Applicant: 厦门大学
Abstract: 本发明公开了一种基于比特翻转的固态盘数据存储方法和装置,其中方法包括:初始化步骤:接收写入请求,在内存中初始化用于储存数值的变量;数据比特计数与翻转步骤:对传入的每个基本单位内的比特状态进行统计分析,确定是否进行比特翻转操作,设置相应的翻转标记位,并进行相应的操作,得到处理后的数据;数据封装步骤:将处理后的数据按照原有的数据顺序,进行封装,并将相应的翻转标记位按顺序封装成页面标记位;数据写入步骤:将经过封装后的数据和页面标记位,分别写入存储介质的数据区域和备用区域。本发明提出的方法针对固态盘内存储单元的不同状态泄露电子的概率不同,通过比特翻转的操作降低固态盘内易失电子的状态数量,以提高固态盘的读写性能、使用寿命和可靠性。
-
-
-
-
-
-
-
-
-