公开(公告)号：CN104809168A

公开(公告)日：2015-07-29

申请号：CN201510157833.3

申请日：2015-04-06

Applicant: 华中科技大学

Inventor： 袁平鹏 ,  金海 ,  谢昌凤 ,  罗毅

IPC: G06F17/30

Abstract: 本发明公开了一种超大规模RDF图数据的划分与并行分布处理方法，包括：对原始的RDF图数据进行预处理，生成对应的哈希字典文件和整形三列表数据，并将整形三列表数据转换成关联矩阵M；建立关联矩阵M的超图模型，在该超图模型中，M的主语、谓词和宾语即为超边，与超边相关的数据即为超边数据；判断该RDF图数据是连通图还是非连通图，如果是非连通图，则将该非连通图划分为多个连通图；基于超图模型，并发的广度遍历并等分放置路径上的超边数据，将超边数据进行分类排序并等分成K份放入K个从节点上，同时建立超边数据与从节点的映射关系。本发明的划分速度快，划分质量高，数据和任务负载均衡，查询处理的并行度高、速度快。

公开(公告)号：CN104809168B

公开(公告)日：2017-12-29

申请号：CN201510157833.3

申请日：2015-04-06

Applicant: 华中科技大学

Inventor： 袁平鹏 ,  金海 ,  谢昌凤 ,  罗毅

IPC: G06F17/30

Abstract: 本发明公开了一种超大规模RDF图数据的划分与并行分布处理方法，包括：对原始的RDF图数据进行预处理，生成对应的哈希字典文件和整形三列表数据，并将整形三列表数据转换成关联矩阵M；建立关联矩阵M的超图模型，在该超图模型中，M的主语、谓词和宾语即为超边，与超边相关的数据即为超边数据；判断该RDF图数据是连通图还是非连通图，如果是非连通图，则将该非连通图划分为多个连通图；基于超图模型，并发的广度遍历并等分放置路径上的超边数据，将超边数据进行分类排序并等分成K份放入K个从节点上，同时建立超边数据与从节点的映射关系。本发明的划分速度快，划分质量高，数据和任务负载均衡，查询处理的并行度高、速度快。