一种数据重删方法
    21.
    发明公开

    公开(公告)号:CN119960692A

    公开(公告)日:2025-05-09

    申请号:CN202510043184.8

    申请日:2025-01-10

    Applicant: 厦门大学

    Abstract: 本发明公开了一种数据重删方法,将计算哈希计算任务卸载至DPU内部的硬件加速器,大大提升了哈希计算速度,减少了请求响应时间。由于主机CPU未参与哈希计算,释放了部分计算资源,主机上的其他服务也能使用这部分资源,提高了CPU利用率。并采用一种CPU利用率感知的分块任务卸载方法。每当对象重删任务到达时,检查DPU内部ARM‑CPU的利用率,如果利用率过高,则使用主机CPU分块,然后再将分好的数据块发送至DPU。否则将对象整体发送至DPU,也就是将分块任务和哈希任务一并卸载至DPU。这样既能减少主机CPU的资源消耗,也能避免DPU内部ARM‑CPU负载过高而影响DPU自身的网络任务。

    一种实现地址变换的转址旁路缓存管理系统

    公开(公告)号:CN118012789A

    公开(公告)日:2024-05-10

    申请号:CN202410275474.0

    申请日:2024-03-12

    Applicant: 厦门大学

    Abstract: 本发明公开了一种实现地址变换的转址旁路缓存管理系统,包括:虚拟地址空间,接收读写请求并获得虚拟地址;物理地址空间,数据区包含大量存放数据的内存页,页表存放虚拟地址到物理地址的映射信息;内存管理单元,包括转址旁路缓存和页表遍历单元,转址旁路缓存用于缓存页表中的部分映射信息;所述管理系统初始化的过程中在转址旁路缓存建立预测模型,预测模型在实现地址变换时用于预测转址旁路缓存中未缓存映射信息的虚拟地址对应的物理地址。本发明在转址旁路缓存中建立轻量级的分区回归模型,提升随机读写场景下的转址旁路缓存命中率;并通过内存碎片整理与内存回收对模型进行周期性更新,减少了地址转换带来的重复内存访问的性能开销。

    基于本地和CXL扩展的混合内存中键值数据布局方法

    公开(公告)号:CN117806552A

    公开(公告)日:2024-04-02

    申请号:CN202311834755.7

    申请日:2023-12-28

    Applicant: 厦门大学

    Abstract: 本发明公开了一种基于本地和CXL扩展的混合内存中键值数据布局方法,包括:初始化步骤S101;数据写入步骤S102,将item插入到对应的slab类的Segmented LRU队列中管理;数据读取步骤S103;DRAM中冷数据迁移步骤S104;CXL中热数据迁移步骤S105;DRAM中slab重分配和slab驱逐步骤S106。本发明的DRAM与CXL拥有各自独立的哈希队列和LRU队列,避免了由于哈希拉链访问带来的读延迟,又避免了CXL部分数据的驱逐过程对DRAM部分的哈希表的拉链上锁;基于访问热度的slab重分配算法,避免过小的DRAM带来的严重钙化问题;通过DRAM与CXL之间的协作,发挥出两个介质各自的特点,既利用了DRAM的高速,又可以通过CXL内存扩展现有的DRAM容量,同时避免对内存键值存储系统性能的影响。

    一种在加密情境下减少非易失性内存写放大方法

    公开(公告)号:CN114527937A

    公开(公告)日:2022-05-24

    申请号:CN202210073380.6

    申请日:2022-01-21

    Applicant: 厦门大学

    Abstract: 本发明提出一种在加密情境下减少非易失性内存写放大方法,包括:计数器产生步骤,加密步骤,加密计数器纠删码融合步骤,数据写入步骤,数据读取步骤,密文解密步骤,数据验证纠错步骤。本发明提出的方法在不影响缓存行数据的可靠性的前提下,通过将加密计数器融入到缓存行的纠删码中,减轻在加密情境下由于需要额外写入加密元数据导致的写放大问题,同时通过扩大加密计数器的大小来减少重新加密的频率,提高非易失性内存的使用寿命,降低读写延迟和使用能耗。

    基于存储阵列的数据重建方法、装置及存储介质

    公开(公告)号:CN110413454A

    公开(公告)日:2019-11-05

    申请号:CN201810404552.7

    申请日:2018-04-28

    Abstract: 本申请实施例提供一种基于存储阵列的数据重建方法、装置及存储介质,该基于存储阵列的数据重建方法包括:当检测到第一成员盘出现故障时,获取预留阵列,存储阵列包括第一成员盘和至少两个第二成员盘,预留阵列包括第二成员盘的空闲空间;根据第二成员盘中数据,重建第一成员盘中的数据;将重建后的第一成员盘中的数据并行写入预留阵列。本申请实施例适用于固态硬盘阵列,且数据重建速率较高。

    基于应用感知的重复数据删除存储系统中的数据重构方法

    公开(公告)号:CN104978151B

    公开(公告)日:2017-12-29

    申请号:CN201510345510.7

    申请日:2015-06-19

    Abstract: 基于应用感知的重复数据删除存储系统中的数据重构方法,涉及计算机存储领域。充分利用所备份文件的文件类型信息,对所有文件按文件类型进行分类,再按文件类型对文件进行备份,以提高数据读取时的数据重构速度。由并行的数据写入阶段和数据读取阶段组成,所述备份文件的数据写入阶段由文件分类步骤、文件分块步骤、哈希指纹计算步骤、重复数据删除步骤和数据写入步骤顺序组成;所述备份文件的数据读取阶段由文件分类信息获取步骤、文件指纹信息获取步骤、文件数据块获取步骤、数据重构完成步骤顺序组成。通过改变传统重复数据删除过程中的数据写入方法以提高数据读取时的数据重构速度。

    基于预留空间的固态盘阵列的垃圾回收方法

    公开(公告)号:CN107451069A

    公开(公告)日:2017-12-08

    申请号:CN201710673442.6

    申请日:2017-08-09

    Applicant: 厦门大学

    CPC classification number: G06F12/0253 G06F12/0246

    Abstract: 基于预留空间的固态盘阵列的垃圾回收方法,涉及计算机数据存储方法。提供用于减轻垃圾回收操作对固态盘阵列系统性能波动的负面影响的一种基于预留空间的固态盘阵列的垃圾回收方法。由初始化步骤、垃圾回收阶段、数据回收阶段和结束步骤组成,固态盘阵列上设置一个重定向数据映射表和四个功能模块:主控模块、垃圾回收控制模块、请求重定向模块、数据回收模块。所述垃圾回收阶段包括并行的垃圾回收步骤和垃圾回收阶段请求处理步骤,数据回收阶段包括并行的数据回收步骤和数据回收阶段请求处理步骤。

    一种固态盘存储系统的动态数据压缩方法

    公开(公告)号:CN105094709A

    公开(公告)日:2015-11-25

    申请号:CN201510534936.7

    申请日:2015-08-27

    Inventor: 毛波 吴素贞

    Abstract: 一种固态盘存储系统的动态数据压缩方法,涉及计算机存储领域。充分利用存储系统中数据的冗余特性,通过动态的数据压缩技术减少这些冗余信息,减少写入的数据量,以此来缓解固态盘读写性能不对称的问题,同时提升固态盘的空间利用率和可靠性。在固态盘存储系统上设置压缩位图表和三个功能模块:负载监测模块、数据压缩模块和数据解压缩模块,由请求类型判断步骤、数据的压缩写入步骤和数据的解压缩读取步骤组成。根据系统的当前负载状态,动态地对写入的数据进行压缩,既不影响系统的服务能力,又能对写入数据进行充分的压缩,更多地减少写入数据,提升固态盘存储设备的性能和可靠性。

    一种固态盘阵列的数据布局方法

    公开(公告)号:CN105045540A

    公开(公告)日:2015-11-11

    申请号:CN201510540940.4

    申请日:2015-08-28

    Applicant: 厦门大学

    Abstract: 一种固态盘阵列的数据布局方法,涉及计算机存储领域。固态盘阵列上设置四个功能模块即主控模块、请求处理模块、数据映射模块、数据读写模块和一致性维护模块,并设置一个数据映射表和多分块存储区域。包括初始化步骤、请求处理步骤、数据映射步骤、数据读/写步骤、一致性维护步骤和结束步骤。充分利用固态盘阵列的多种不同分块大小在读写操作和请求大小上的优势,综合使用多个分块大小而非单一地使用某一种分块大小,以提高固态盘阵列的整体性能。能够和固态盘阵列功能模块协同工作,并且可以被嵌入到现有的固态盘阵列系统中,包括硬件和软件固态盘阵列系统。适用于构造具有高性能、高可用性和高可靠性的固态盘存储系统。

    一种基于学习索引的数据重删方法和系统

    公开(公告)号:CN118567562A

    公开(公告)日:2024-08-30

    申请号:CN202410699704.6

    申请日:2024-05-31

    Abstract: 本发明公开了一种基于学习索引的数据重删方法和系统,包括:若数据块请求为写请求,则将数据块写入内存缓存并计算指纹值,将指纹值和逻辑页地址写入LPA‑FP索引表;若内存缓存中的所有数据块的数量达到阈值,则为内存缓存中的所有数据块分配对应的物理页地址,并生成若干个FP‑PPA映射,根据若干个FP‑PPA映射通过分段线性回归计算得到FP‑PPA表达式,将FP‑PPA表达式写入内存缓存和闪存,并将内存缓存中的所有数据块写入闪存,将数据块及其相邻数据块的指纹值保存在带外数据区域;若数据块请求为读请求,则根据逻辑页地址在LPA‑FP索引表中查找指纹值,根据指纹值和FP‑PPA表达式计算出物理页地址并在闪存中查询所要读取的数据块,以减少内存缓存的空间并加快物理页地址的查找速度。

Patent Agency Ranking