公开(公告)号：CN104077423B

公开(公告)日：2017-05-03

申请号：CN201410353123.3

申请日：2014-07-23

Applicant: 山东大学(威海)

Inventor： 程杰 ,  杨萌萌

IPC: G06F17/30

Abstract: 本发明公开了一种基于一致性散列的结构化数据存储、查询和迁移方法，步骤如下：建立基于一致性散列的HDFS数据存储模型，基于此模型进行数据存储和数据查询，当有数据节点加入或失效时，实施数据迁移；所述数据存储方法是将待写入文件的各数据块进行一致性散列得到数据块Hash值，然后根据数据块Hash值，在节点Hash链中查找该数据块的存储节点并将数据块内容存入其存储节点。本发明基于HDFS集群主从结构，应用一致性散列，使结构化数据均匀分散在HDFS集群的各个数据节点上，有效地提高并行遍历数据的效率，当数据节点数量发生变化时，可大大减少数据迁移所涉及的节点数量和总迁移数据量，提高数据存储系统的运行性能。

公开(公告)号：CN104077423A

公开(公告)日：2014-10-01

申请号：CN201410353123.3

申请日：2014-07-23

Applicant: 山东大学(威海)

Inventor： 程杰 ,  杨萌萌

IPC: G06F17/30

CPC classification number: G06F17/30194 ,  G06F17/303 ,  G06F17/30312

Abstract: 本发明公开了一种基于一致性散列的结构化数据存储、查询和迁移方法，步骤如下：建立基于一致性散列的HDFS数据存储模型，基于此模型进行数据存储和数据查询，当有数据节点加入或失效时，实施数据迁移；所述数据存储方法是将待写入文件的各数据块进行一致性散列得到数据块Hash值，然后根据数据块Hash值，在节点Hash链中查找该数据块的存储节点并将数据块内容存入其存储节点。本发明基于HDFS集群主从结构，应用一致性散列，使结构化数据均匀分散在HDFS集群的各个数据节点上，有效地提高并行遍历数据的效率，当数据节点数量发生变化时，可大大减少数据迁移所涉及的节点数量和总迁移数据量，提高数据存储系统的运行性能。