一种基于写重定向的纠删码存储重构优化方法

    公开(公告)号:CN103605582B

    公开(公告)日:2017-01-25

    申请号:CN201310616406.8

    申请日:2013-11-27

    Abstract: 本发明公开了一种基于写重定向的纠删码存储重构优化方法,将写入失效数据节点的数据重定向到由存活节点空余空间所组成的RS阵列,将数据重定向过程与包括失效数据节点的重构、重定向数据的迁移以及迁移所引起的校验数据更新的数据迁移过程分开处理,降低二者对磁盘、内存、网络带宽等资源的竞争,在加速后台重构过程的同时,优化前台用户访问性能。

    一种基于纠删码缓存的重构优化方法

    公开(公告)号:CN103914402B

    公开(公告)日:2016-08-31

    申请号:CN201410154741.5

    申请日:2014-04-17

    Abstract: 本发明公开了一种基于纠删码缓存的重构优化方法,包括:失效数据缓存过程,包括:接收客户端写失效数据节点的客户端请求记录,将客户端请求记录写入由集群中存活节点预分配内存构成的纠删码缓存区中的数据区,根据纠删码缓存区中数据区的原有数据和新写入的客户端请求记录,更新纠删码缓存区中的校验区,向客户端返回写失效数据节点完成;以及缓存数据迁移过程,包括:读取纠删码缓存区中的一条客户端请求记录,从失效节点对应的替换节点中数据偏移地址为offset的位置读取数据,将客户端请求记录对应的新数据newdata写入替换节点中写数据偏移地址为offset的位置。本发明能够提高失效数据节点的重构性能,并能降低客户端失效写的响应时间。

    一种基于纠删码的数据安全删除方法和系统

    公开(公告)号:CN104484126A

    公开(公告)日:2015-04-01

    申请号:CN201410640456.4

    申请日:2014-11-13

    CPC classification number: G06F3/0652

    Abstract: 本发明公开了一种基于纠删码的数据安全删除方法,包括:将源数据均分为k个相同大小的数据块,标识为D0、D1、…、Dk-1,选择一个随机数或伪随机数nonce,使用密钥Key对其进行加密,以得到一个与数据块D0相同大小的块,利用得到的块对D0、D1、…、Dk-1进行按位异或,以得到新的数据块C0、C1、…、Ck-1,将随机数或伪随机数nonce均分为k份,并将其分别附加到数据块C0、C1、…、Ck-1末尾,以得到数据块C0’、C1’、…、Ck-1’,采用系统纠删码算法对k个数据块C0’、C1’、…、Ck-1’进行编码计算,以得到r个校验块P0、P1、…、Pr-1。本发明能够解决现有方法中由于重复覆盖写引起的高写开销和对磁盘造成的损伤,以及采用数据副本方式以增强数据可用性时增加覆盖写开销的技术问题。

    一种基于纠删码的数据安全删除方法和系统

    公开(公告)号:CN104484126B

    公开(公告)日:2017-06-13

    申请号:CN201410640456.4

    申请日:2014-11-13

    Abstract: 本发明公开了一种基于纠删码的数据安全删除方法,包括:将源数据均分为k个相同大小的数据块,标识为D0、D1、…、Dk‑1,选择一个随机数或伪随机数nonce,使用密钥Key对其进行加密,以得到一个与数据块D0相同大小的块,利用得到的块对D0、D1、…、Dk‑1进行按位异或,以得到新的数据块C0、C1、…、Ck‑1,将随机数或伪随机数nonce均分为k份,并将其分别附加到数据块C0、C1、…、Ck‑1末尾,以得到数据块C0’、C1’、…、Ck‑1’,采用系统纠删码算法对k个数据块C0’、C1’、…、Ck‑1’进行编码计算,以得到r个校验块P0、P1、…、Pr‑1。本发明能够解决现有方法中由于重复覆盖写引起的高写开销和对磁盘造成的损伤,以及采用数据副本方式以增强数据可用性时增加覆盖写开销的技术问题。

    一种基于纠删码缓存的重构优化方法

    公开(公告)号:CN103914402A

    公开(公告)日:2014-07-09

    申请号:CN201410154741.5

    申请日:2014-04-17

    Abstract: 本发明公开了一种基于纠删码缓存的重构优化方法,包括:失效数据缓存过程,包括:接收客户端写失效数据节点的客户端请求记录,将客户端请求记录写入由集群中存活节点预分配内存构成的纠删码缓存区中的数据区,根据纠删码缓存区中数据区的原有数据和新写入的客户端请求记录,更新纠删码缓存区中的校验区,向客户端返回写失效数据节点完成;以及缓存数据迁移过程,包括:读取纠删码缓存区中的一条客户端请求记录,从失效节点对应的替换节点中数据偏移地址为offset的位置读取数据,将客户端请求记录对应的新数据newdata写入替换节点中写数据偏移地址为offset的位置。本发明能够提高失效数据节点的重构性能,并能降低客户端失效写的响应时间。

    一种基于任务负载感知的纠删码归档方法及系统

    公开(公告)号:CN106844060A

    公开(公告)日:2017-06-13

    申请号:CN201710141230.3

    申请日:2017-03-10

    Abstract: 本发明公开了一种基于任务负载感知的纠删码归档方法及系统,属于计算机存储技术领域。本发明方法首先获取纠删码集群中归档条带的每个节点任务数和每个节点上含有的当前归档条带数据分块个数;之后选取任务数最小且含有当前归档条带数据分块较多的一个存储节点作为编码节点,并更新编码节点的任务数;然后根据任务数最小原则和供给节点选取规则,依次选取所有数据分块的供给节点,并且更新其任务数;最后编码节点通过供给节点提供的数据分块进行编码计算,生成校验分块,完成归档任务。本发明还实现了一种基于任务负载感知的纠删码归档系统。本发明解决了现有归档方法中将大量归档任务集中分配到某个数据节点而导致的归档任务不均衡问题。

    一种基于任务负载感知的纠删码归档方法及系统

    公开(公告)号:CN106844060B

    公开(公告)日:2020-01-03

    申请号:CN201710141230.3

    申请日:2017-03-10

    Abstract: 本发明公开了一种基于任务负载感知的纠删码归档方法及系统,属于计算机存储技术领域。本发明方法首先获取纠删码集群中归档条带的每个节点任务数和每个节点上含有的当前归档条带数据分块个数;之后选取任务数最小且含有当前归档条带数据分块较多的一个存储节点作为编码节点,并更新编码节点的任务数;然后根据任务数最小原则和供给节点选取规则,依次选取所有数据分块的供给节点,并且更新其任务数;最后编码节点通过供给节点提供的数据分块进行编码计算,生成校验分块,完成归档任务。本发明还实现了一种基于任务负载感知的纠删码归档系统。本发明解决了现有归档方法中将大量归档任务集中分配到某个数据节点而导致的归档任务不均衡问题。

    一种基于写重定向的纠删码存储重构优化方法

    公开(公告)号:CN103605582A

    公开(公告)日:2014-02-26

    申请号:CN201310616406.8

    申请日:2013-11-27

    Abstract: 本发明公开了一种基于写重定向的纠删码存储重构优化方法,将写入失效数据节点的数据重定向到由存活节点空余空间所组成的RS阵列,将数据重定向过程与包括失效数据节点的重构、重定向数据的迁移以及迁移所引起的校验数据更新的数据迁移过程分开处理,降低二者对磁盘、内存、网络带宽等资源的竞争,在加速后台重构过程的同时,优化前台用户访问性能。

Patent Agency Ranking