一种基于RAID4的多云存储系统扩展方法

    公开(公告)号:CN106027653B

    公开(公告)日:2019-04-12

    申请号:CN201610344015.9

    申请日:2016-05-23

    Abstract: 本发明公开了一种基于RAID4的多云存储系统扩展方法,包括:云用户从本地上传文件数据到已注册并购买服务的各个云的对象存储服务,数据块在各个云之间以RAID4方式存储。当用户由于某些原因需要将已有云中的数据迁移一部分到新的云中,并保持云之间的数据仍以RAID4方式存储时,从存储原始数据的云中选择一部分数据迁移到新的云中,并将一部分迁移的数据发送到校验云中,运用校验云的计算资源计算得出新的校验块以保证新的多云存储系统仍然保持RAID4方式存储。本发明中云的概念也可以扩展为不同云的不同存储区域。本发明是基于RAID4方式存储,故能容“1”错;另外,通过耗费校验云的计算资源来换取带宽资源,减少因扩展带来的迁移数据量。

    一种基于混合编码的hadoop数据分发方法

    公开(公告)号:CN106027638A

    公开(公告)日:2016-10-12

    申请号:CN201610330144.2

    申请日:2016-05-18

    CPC classification number: H04L67/1097 H04L67/1095

    Abstract: 本发明公开了一种基于混合编码的hadoop数据分发方法。该方法包括,改变传统的hadoop系统中的三副本存储方式,结合RAID1和RAID5技术对数据进行分发存储,当用户将文件写入集群,文件被划分为多个block存储在集群中。根据RAID1的概念,每个block会生成一个副本,设定一个stripe长度将block进行存储,一个stripe中的block及其副本分别放置在不同机架下的节点中,根据RAID5将一个stripe中的block进行异或产生一个校验块,校验块同样也遵循RAID1的方式进行存储。在节点损坏导致block丢失时,可以根据副本或校验块对文件进行恢复,保证文件存储的可靠性。本发明是基于RAID1+5方式存储,故有较好的容错性能,另外,使用RAID1+5的混合模式相较于传统hadoop的三副本存储方式节省了存储空间。

    一种基于热度的存储管理方法及系统

    公开(公告)号:CN110968266A

    公开(公告)日:2020-04-07

    申请号:CN201911081712.X

    申请日:2019-11-07

    Abstract: 本发明公开了一种基于热度的存储管理方法及系统,属于键值缓存系统领域,包括:(1)在内存中获取目标键值对的索引信息,以获得其存储地址Ao,并该索引信息进行更新;(2)确定用于存储目标键值对的存储策略;(3)判断是否需要执行slab块剔除操作以回收内存空间,若是,则转入步骤(4);否则,转入步骤(5);(4)获得冷、热分区中更新次数较小的分区内热度值最小的满slab块Sbv,顺序写入SSD后回收内存空间;(5)在内存中为目标键值对分配存储槽后,将目标键值对写入其中,更新目标键值对的索引信息及其所在分区的更新次数,并更新slab块的分配信息、总更新次数和冷热属性。本发明能减少键值缓存系统中SSD的写入磨损,延长SSD的使用寿命。

    一种基于混合编码的hadoop数据分发方法

    公开(公告)号:CN106027638B

    公开(公告)日:2019-04-12

    申请号:CN201610330144.2

    申请日:2016-05-18

    Abstract: 本发明公开了一种基于混合编码的hadoop数据分发方法。该方法包括,改变传统的hadoop系统中的三副本存储方式,结合RAID1和RAID5技术对数据进行分发存储,当用户将文件写入集群,文件被划分为多个block存储在集群中。根据RAID1的概念,每个block会生成一个副本,设定一个stripe长度将block进行存储,一个stripe中的block及其副本分别放置在不同机架下的节点中,根据RAID5将一个stripe中的block进行异或产生一个校验块,校验块同样也遵循RAID1的方式进行存储。在节点损坏导致block丢失时,可以根据副本或校验块对文件进行恢复,保证文件存储的可靠性。本发明是基于RAID1+5方式存储,故有较好的容错性能,另外,使用RAID1+5的混合模式相较于传统hadoop的三副本存储方式节省了存储空间。

    一种基于RAID4的多云存储系统扩展方法

    公开(公告)号:CN106027653A

    公开(公告)日:2016-10-12

    申请号:CN201610344015.9

    申请日:2016-05-23

    CPC classification number: H04L67/1097

    Abstract: 本发明公开了一种基于RAID4的多云存储系统扩展方法,包括:云用户从本地上传文件数据到已注册并购买服务的各个云的对象存储服务,数据块在各个云之间以RAID4方式存储。当用户由于某些原因需要将已有云中的数据迁移一部分到新的云中,并保持云之间的数据仍以RAID4方式存储时,从存储原始数据的云中选择一部分数据迁移到新的云中,并将一部分迁移的数据发送到校验云中,运用校验云的计算资源计算得出新的校验块以保证新的多云存储系统仍然保持RAID4方式存储。本发明中云的概念也可以扩展为不同云的不同存储区域。本发明是基于RAID4方式存储,故能容“1”错;另外,通过耗费校验云的计算资源来换取带宽资源,减少因扩展带来的迁移数据量。

    一种基于热度的存储管理方法及系统

    公开(公告)号:CN110968266B

    公开(公告)日:2021-03-26

    申请号:CN201911081712.X

    申请日:2019-11-07

    Abstract: 本发明公开了一种基于热度的存储管理方法及系统,属于键值缓存系统领域,包括:(1)在内存中获取目标键值对的索引信息,以获得其存储地址Ao,并该索引信息进行更新;(2)确定用于存储目标键值对的存储策略;(3)判断是否需要执行slab块剔除操作以回收内存空间,若是,则转入步骤(4);否则,转入步骤(5);(4)获得冷、热分区中更新次数较小的分区内热度值最小的满slab块Sbv,顺序写入SSD后回收内存空间;(5)在内存中为目标键值对分配存储槽后,将目标键值对写入其中,更新目标键值对的索引信息及其所在分区的更新次数,并更新slab块的分配信息、总更新次数和冷热属性。本发明能减少键值缓存系统中SSD的写入磨损,延长SSD的使用寿命。

Patent Agency Ranking