一种低数据重建开销的纠删码方法

    公开(公告)号:CN107656832A

    公开(公告)日:2018-02-02

    申请号:CN201710841960.4

    申请日:2017-09-18

    Abstract: 本发明公开了一种低数据重建开销的纠删码方法,包括:数据分块步骤、数据编码步骤、检查数据块状态步骤、根据失效块进行修复划分步骤以及相应的失效修复步骤,本发明结合了网络编码中蝴蝶码优秀修复带宽性质和局部重建的组内重建方法,可减少系统中数据重建时需求的磁盘读取和网络带宽传输。在本发明中,每个组具有两个校验块并利用局部重建码的组内编码来维持组内的最优修复带宽,再以部分校验块编码所有数据块来保证系统可靠性。相比局部重建码,该方法的组内校验具有更高的可靠性,所以需要的全局校验个数较少,故而可以在相等的存储开销下具有更低的修复带宽。

    一种固态盘闪存芯片阈值电压感知方法及系统

    公开(公告)号:CN104282340B

    公开(公告)日:2017-12-29

    申请号:CN201410522792.9

    申请日:2014-09-30

    Abstract: 本发明公开了一种固态盘内部闪存芯片阈值电压感知优化方法,主要用于多层单元闪存芯片使用低密度奇偶校验码纠错时的一种优化方法。该系统结构主要由LDPC编码模块、闪存芯片存储模块、非均匀阈值电压感知模块、对数似然比计算模块和LDPC译码模块组成。LDPC编码模块主要对原始数据利用LDPC生成矩阵编码生成码字;闪存芯片存储模块主要存储数据;非均匀阈值电压感知模块主要对闪存芯片进行非均匀阈值电压感知;对数似然比计算模块主要由阈值电压值得到对数似然比值;LDPC译码模块主要根据对数似然比值和校验矩阵进行解码纠错。本发明适用于固态盘纠错领域,提高存储数据的可靠性。

    一种基于固态盘阵列和缓存的数据处理方法及系统

    公开(公告)号:CN107402890A

    公开(公告)日:2017-11-28

    申请号:CN201710604527.9

    申请日:2017-07-24

    Abstract: 本发明公开了一种基于固态盘阵列和缓存的数据处理方法及装置,包括:接收写请求,指示固态盘和缓存写入所述写请求对应的数据;通过哈希表指示所述缓存中存储的每个芯片最后一次写入的数据;当所述缓存被写满时,优先替换第一条带在所述缓存中的数据块,所述第一条带在所述缓存中的包括的数据块最多,当所述第一条带被替换时,指示所述芯片计算所述第一条带的校验信息并将该校验信息写入所述芯片中;当有芯片失效时,通过所述哈希表恢复该失效芯片中最后一次写入的数据,通过未失效芯片中的数据和校验信息恢复失效芯片中对应逻辑地址上的数据。本发明通过缓存延迟校验块更新,改善芯片阵列小写性能和擦除次数问题。

    一种基于固态盘阵列的数据处理方法及系统

    公开(公告)号:CN107273046A

    公开(公告)日:2017-10-20

    申请号:CN201710416081.7

    申请日:2017-06-06

    CPC classification number: G06F3/061 G06F3/0616 G06F3/0644 G06F3/0688

    Abstract: 本发明公开了一种基于固态盘阵列的数据处理方法及系统,包括:接收写请求,指示固态盘阵列和日志盘写入写请求对应的数据,固态盘阵列包括N个成员盘;通过哈希表指示日志盘中记录的每个成员盘中最后一次写入的数据;在空闲时间、日志盘失效、日志盘的剩余空间低于第一阈值或有成员盘的剩余空间低于第二阈值时,指示固态盘阵列根据每个逻辑地址对应的N-1个成员盘上的数据更新每个逻辑地址对应的校验信息;当有成员盘失效时,通过哈希表恢复失效成员盘中最后一次写入的数据,以及通过未失效成员盘中数据和对应逻辑地址的校验信息恢复失效成员盘中相应逻辑地址上的数据。本发明实施例减少了为计算校验块所需的预读操作,保证了访问负载的原始特性。

    一种基于全局统计的去碎片方法及系统

    公开(公告)号:CN103885859B

    公开(公告)日:2017-09-26

    申请号:CN201410089576.X

    申请日:2014-03-12

    Abstract: 本发明公开了一种基于全局统计的去碎片方法,包括:确定待备份的数据流中的各重复数据块,统计各重复数据块所对应的被引用段中所有被引用数据的长度,得到段引用缓冲区;计算待备份的数据流中的各重复数据块所对应的被引用段中所有被引用数据的长度与该被引用段的长度的比值,并判断该比值是否小于设定阈值,若是则将该重复数据块写入段中。本发明还提供了一种基于全局统计的去碎片系统。本发明统计得到各重复数据块所对应的被引用段中所有被引用数据的长度,并计算各重复数据块所对应的被引用段的段引用率,将段引用率小于设定阈值的数据段所对应的重复数据块判定为数据碎片,将这些数据碎片写入段中,可达到去碎片以提高恢复性能的目的。

    基于数据去重的移动Web请求处理方法、设备及系统

    公开(公告)号:CN107196998A

    公开(公告)日:2017-09-22

    申请号:CN201710290394.2

    申请日:2017-04-28

    Abstract: 本发明公开了一种基于数据去重的移动Web请求处理方法、设备及系统,属于移动Web应用和数据处理技术领域。该方法针对移动Web领域中客户端缓存文件发生少量更新时网络传输大部分不必要的重复内容降低Web性能的问题,提出了在移动Web中采用移动Web请求数据去重机制,对更新文件根据缓存文件删除新版本中的重复数据生成差量文件,网络传输时只将差量文件返回给客户端,客户端根据差量文件和缓存文件进行还原,从而减少网络传输数据量;提出将差量文件解析与服务端渲染异步处理方法,从而减轻客户端的压力,减少动态数据的网络请求次数,提升整体Web性能。

    一种针对非易失内存的哈希表构建方法及系统

    公开(公告)号:CN107153707A

    公开(公告)日:2017-09-12

    申请号:CN201710332674.5

    申请日:2017-05-12

    Inventor: 华宇 左鹏飞 冯丹

    CPC classification number: G06F16/2255

    Abstract: 本发明公开了一种针对非易失内存的哈希表构建方法及系统。本发明方法构建一个哈希表,该哈希表逻辑上构建成一个倒立的完全二叉树,该二叉树的所有叶子节点是可寻址的单元,所有的非叶子节点是不可寻址单元且作为叶子节点处理哈希冲突的备用单元;从叶子节点到根节点路径上的所有非叶子节点用于存储在该叶子节点处发生哈希冲突的冲突元素;进一步删除该二叉树底部的多层只保留顶部剩余的层;该哈希表中每个元素对应两个不同的哈希位置,这两个哈希位置通过使用两个不同的哈希函数计算得到。本发明还实现了一种针对非易失内存的哈希表构建系统。本发明技术方案所构建的哈希表不会造成任何额外的写,并且具有高的空间利用率和低的请求延迟。

    一种基于NVRAM的内存分配链表及内存分配方法

    公开(公告)号:CN106844224A

    公开(公告)日:2017-06-13

    申请号:CN201611193373.0

    申请日:2016-12-21

    CPC classification number: G06F12/0238

    Abstract: 本发明公开了一种基于NVRAM的内存分配链表,属于内存管理领域。该内存分配链表在传统现有内存分配技术的基础上提出了新的内存分配链表,该链表包括延迟分配链表、Fastbins和Bins。Fastbins中的fast bin链表使用FIFO(先进先出)法进行链表中chunk的插入或删除,降低局部bin的读写操作;Bins中为每个small bin和new bin链表添加一个分配计数器,监控每个bin的分配次数,为超分配阈值的bin分配新的new bin以降低高读写区域的磨损;延迟分配链表为重新分配的内存区域提供一个延迟时间。同时本发明还提供了一种基于NVRAM的内存分配方法,采用本发明技术方案可以有效的降低NVRAM内存的使用损耗,提高NVRAM内存使用寿命。

    一种基于RAID5的实现内存数据可靠性方法及系统

    公开(公告)号:CN106547484A

    公开(公告)日:2017-03-29

    申请号:CN201610914581.9

    申请日:2016-10-20

    CPC classification number: G06F3/0614 G06F3/0631 G06F3/0689 G06F11/1469

    Abstract: 本发明公开了一种基于RAID5的实现内存数据可靠性方法及系统,包括:在每台分布式存储服务器中划分一部分内存数据做缓存,然后构建RAID5;将经常访问的数据放到内存数据库中;除了存储基本数据还要存储额外的元数据信息,用于标识RAID5的条带信息;当所有存储服务器正常运行时,客户端直接从内存中读取数据;当发生单点故障时,客户端通过存储的元数据信息可以得到同一个条带的数据,在内存级别将数据恢复出来,提供的给用户,而不用去访问存取速度比内存低几个数量级的硬盘,从而提高了存储系统的可靠性;同时,通过构建RAID5,在达到可靠性的同时,降低了数据存储冗余度,从而节省成本。

    一种支持固态盘缓存动态分配的混合存储系统和方法

    公开(公告)号:CN103902474B

    公开(公告)日:2017-02-08

    申请号:CN201410145032.0

    申请日:2014-04-11

    Abstract: 本发明提供了一种支持固态盘缓存动态分配的混合存储系统和方法,该方法用固态盘和磁盘构建混合存储系统,其中固态盘用作磁盘的缓存,本发明方法实时监控应用的负载特征及固态盘缓存命中率,并建立应用的性能模型,从而根据应用的性能需求和负载特征的变化动态地分配固态盘缓存空间。本发明提供的固态盘缓存管理方法可以根据应用的性能需求合理地分配固态盘缓存空间,实现应用级的缓存区分服务,并通过将应用的固态盘缓存空间进一步划分为读缓存和写缓存区间,减少脏数据块及其带来的页复制和垃圾回收开销,同时将空闲的固态盘缓存空间按照应用的缓存利用效率分配给应用,从而提高混合存储系统的固态盘缓存命中率和整体性能。

Patent Agency Ranking