一种基于热度的存储管理方法及系统

    公开(公告)号:CN110968266A

    公开(公告)日:2020-04-07

    申请号:CN201911081712.X

    申请日:2019-11-07

    Abstract: 本发明公开了一种基于热度的存储管理方法及系统,属于键值缓存系统领域,包括:(1)在内存中获取目标键值对的索引信息,以获得其存储地址Ao,并该索引信息进行更新;(2)确定用于存储目标键值对的存储策略;(3)判断是否需要执行slab块剔除操作以回收内存空间,若是,则转入步骤(4);否则,转入步骤(5);(4)获得冷、热分区中更新次数较小的分区内热度值最小的满slab块Sbv,顺序写入SSD后回收内存空间;(5)在内存中为目标键值对分配存储槽后,将目标键值对写入其中,更新目标键值对的索引信息及其所在分区的更新次数,并更新slab块的分配信息、总更新次数和冷热属性。本发明能减少键值缓存系统中SSD的写入磨损,延长SSD的使用寿命。

    一种面向SSD去重的数据分配方法及系统

    公开(公告)号:CN110413235A

    公开(公告)日:2019-11-05

    申请号:CN201910683628.9

    申请日:2019-07-26

    Abstract: 本发明公开了一种面向SSD去重的数据分配方法及系统,属于固态存储领域,包括:以有效的地址引用计数作为并行单元或SSD的读热度,预先建立一个读热度表,用于分别记录所述SSD以及其中各并行单元的读热度;按照如下步骤处理每一个写请求:若可以去重,则获得目标数据的重复数据所在物理页,从而得到得到写请求的逻辑地址lpn所映射到的物理地址ppn,若不可以去重,则在读热度小于平均读热度的并行单元中分配一个空闲的物理页并写入数据,从而得到得到写请求的逻辑地址lpn所映射到的物理地址ppn;根据所述写请求的类型和地址映射关系更新热度表以及映射表。本发明能够有效解决去重应用在SSD中带来的读性能下降的问题。

    一种基于混合编码的hadoop数据分发方法

    公开(公告)号:CN106027638B

    公开(公告)日:2019-04-12

    申请号:CN201610330144.2

    申请日:2016-05-18

    Abstract: 本发明公开了一种基于混合编码的hadoop数据分发方法。该方法包括,改变传统的hadoop系统中的三副本存储方式,结合RAID1和RAID5技术对数据进行分发存储,当用户将文件写入集群,文件被划分为多个block存储在集群中。根据RAID1的概念,每个block会生成一个副本,设定一个stripe长度将block进行存储,一个stripe中的block及其副本分别放置在不同机架下的节点中,根据RAID5将一个stripe中的block进行异或产生一个校验块,校验块同样也遵循RAID1的方式进行存储。在节点损坏导致block丢失时,可以根据副本或校验块对文件进行恢复,保证文件存储的可靠性。本发明是基于RAID1+5方式存储,故有较好的容错性能,另外,使用RAID1+5的混合模式相较于传统hadoop的三副本存储方式节省了存储空间。

    一种实现对象存储的安全防护访问方法及系统

    公开(公告)号:CN105468295B

    公开(公告)日:2019-03-05

    申请号:CN201510781188.2

    申请日:2015-11-14

    Abstract: 本发明提供一种实现对象存储的安全防护访问方法,包括:客户端从认证服务器处获取访问证书,并将其和访问请求一起发送至至少三台元数据服务器;元数据服务器检查访问证书及访问请求的有效性后,根据访问请求类型进行处理并向客户端返回相应的元数据信息;客户端接收元数据信息后,向对象存储设备请求数据,对象存储设备收到请求后会对客户端进行验证,通过后会将数据发送给客户端。相应地本发明还提供了一种实现对象存储的安全防护访问系统。本发明通过设置多个不同系统的元数据服务器,在实现系统多样化的同时,增强了系统可靠性及数据存储访问的安全性,另外通过设置的认证服务器对客户端认证,增强了数据访问的安全性能。

    一种基于网络编码的存储扩展方法

    公开(公告)号:CN108536396A

    公开(公告)日:2018-09-14

    申请号:CN201810304384.4

    申请日:2018-04-08

    Abstract: 本发明公开了一种基于网络编码的存储扩展方法,包括:将存储扩展前的条带划分为多个扩展组,并进一步将每个扩展组划分为PG和DG;在DG内循环地依次从原节点中取数据块,得到一系列的数据集合;利用网络编码对每一个数据集合进行编码生成更新块,使用这些更新块对PG中的编码块进行本地更新或者异地更新;将编码块或者数据块传输至新增节点上,并保持扩展后数据块与编码块在所有节点上均匀放置;删除所有传输至新节点的数据块和编码块,并删除DG内所有的编码块。本发明在存储扩展时利用存储节点自身的计算资源对数据块进行编码并对部分编码块进行本地更新,减少了扩展带宽,提高了扩展速度,并在某些参数条件下达到最优存储扩展。

    一种低数据重建开销的纠删码方法

    公开(公告)号:CN107656832A

    公开(公告)日:2018-02-02

    申请号:CN201710841960.4

    申请日:2017-09-18

    Abstract: 本发明公开了一种低数据重建开销的纠删码方法,包括:数据分块步骤、数据编码步骤、检查数据块状态步骤、根据失效块进行修复划分步骤以及相应的失效修复步骤,本发明结合了网络编码中蝴蝶码优秀修复带宽性质和局部重建的组内重建方法,可减少系统中数据重建时需求的磁盘读取和网络带宽传输。在本发明中,每个组具有两个校验块并利用局部重建码的组内编码来维持组内的最优修复带宽,再以部分校验块编码所有数据块来保证系统可靠性。相比局部重建码,该方法的组内校验具有更高的可靠性,所以需要的全局校验个数较少,故而可以在相等的存储开销下具有更低的修复带宽。

    一种基于RAID5的实现内存数据可靠性方法及系统

    公开(公告)号:CN106547484A

    公开(公告)日:2017-03-29

    申请号:CN201610914581.9

    申请日:2016-10-20

    CPC classification number: G06F3/0614 G06F3/0631 G06F3/0689 G06F11/1469

    Abstract: 本发明公开了一种基于RAID5的实现内存数据可靠性方法及系统,包括:在每台分布式存储服务器中划分一部分内存数据做缓存,然后构建RAID5;将经常访问的数据放到内存数据库中;除了存储基本数据还要存储额外的元数据信息,用于标识RAID5的条带信息;当所有存储服务器正常运行时,客户端直接从内存中读取数据;当发生单点故障时,客户端通过存储的元数据信息可以得到同一个条带的数据,在内存级别将数据恢复出来,提供的给用户,而不用去访问存取速度比内存低几个数量级的硬盘,从而提高了存储系统的可靠性;同时,通过构建RAID5,在达到可靠性的同时,降低了数据存储冗余度,从而节省成本。

    一种基于RAID4的多云存储系统扩展方法

    公开(公告)号:CN106027653A

    公开(公告)日:2016-10-12

    申请号:CN201610344015.9

    申请日:2016-05-23

    CPC classification number: H04L67/1097

    Abstract: 本发明公开了一种基于RAID4的多云存储系统扩展方法,包括:云用户从本地上传文件数据到已注册并购买服务的各个云的对象存储服务,数据块在各个云之间以RAID4方式存储。当用户由于某些原因需要将已有云中的数据迁移一部分到新的云中,并保持云之间的数据仍以RAID4方式存储时,从存储原始数据的云中选择一部分数据迁移到新的云中,并将一部分迁移的数据发送到校验云中,运用校验云的计算资源计算得出新的校验块以保证新的多云存储系统仍然保持RAID4方式存储。本发明中云的概念也可以扩展为不同云的不同存储区域。本发明是基于RAID4方式存储,故能容“1”错;另外,通过耗费校验云的计算资源来换取带宽资源,减少因扩展带来的迁移数据量。

    一种实现对象存储的安全防护访问方法及系统

    公开(公告)号:CN105468295A

    公开(公告)日:2016-04-06

    申请号:CN201510781188.2

    申请日:2015-11-14

    Abstract: 本发明提供一种实现对象存储的安全防护访问方法,包括:客户端从认证服务器处获取访问证书,并将其和访问请求一起发送至至少三台元数据服务器;元数据服务器检查访问证书及访问请求的有效性后,根据访问请求类型进行处理并向客户端返回相应的元数据信息;客户端接收元数据信息后,向对象存储设备请求数据,对象存储设备收到请求后会对客户端进行验证,通过后会将数据发送给客户端。相应地本发明还提供了一种实现对象存储的安全防护访问系统。本发明通过设置多个不同系统的元数据服务器,在实现系统多样化的同时,增强了系统可靠性及数据存储访问的安全性,另外通过设置的认证服务器对客户端认证,增强了数据访问的安全性能。

    一种基于区块链的元数据管理方法及系统

    公开(公告)号:CN119807201A

    公开(公告)日:2025-04-11

    申请号:CN202411872067.4

    申请日:2024-12-18

    Abstract: 本申请属于计算机存储技术领域,具体公开了一种基于区块链的元数据管理方法及系统。本申请,客户端通过向区块链中用于存储目标元数据和目标元数据对应的目标校验数据的存储位置的一致性哈希环发送第一请求;区块链根据客户端发送的第一请求中携带的待查询的目标元数据及其对应的目标校验数据的存储位置,获取目标元数据或目标校验数据;客户端接收区块链发送的目标元数据或目标校验数据,并根据接收到的目标元数据或目标校验数据获取待查询的目标元数据。与现有区块链直接查询方式相比,无需遍历整个区块链,减少了查询开销,提高了查询效率,与现有区块链的间接查询方式相比,区块链中的节点无需额外存储一份完整的账本数据,减少了存储开销。

Patent Agency Ranking