-
公开(公告)号:CN103678550A
公开(公告)日:2014-03-26
申请号:CN201310648180.X
申请日:2013-12-04
Applicant: 南京邮电大学
IPC: G06F17/30
CPC classification number: G06F17/30327
Abstract: 本发明公开一种基于动态索引结构(DC-Tree)的海量数据实时查询方法,该方法是将海量多维数据集降维,支持高空间效率低查询时间的方法,并支持分布式冗余存储,从而提升了传统分布式机制中数据分配的效率,适应大规模数据的处理;该方法包括:多维数据记录DR通过MasterNode中Z Curve映射函数fz,生成降维结果集S;MasterNode选定k个哈希函数,通过Bloom Filter对结果集S进行映射,生成节点集NN;更新数据记录DR,对节点集NN中每个元素实行动态构建;用户User查询MDS结果,通过步骤1、步骤2获得节点集NN,启用并行查询方法;用户User对节点集NN中所有访问节点的结果集进行聚合,得到最终查询结果Rset。
-
公开(公告)号:CN103678550B
公开(公告)日:2017-02-08
申请号:CN201310648180.X
申请日:2013-12-04
Applicant: 南京邮电大学
IPC: G06F17/30
Abstract: 本发明公开一种基于动态索引结构(DC-Tree)的海量数据实时查询方法,该方法是将海量多维数据集降维,支持高空间效率低查询时间的方法,并支持分布式冗余存储,从而提升了传统分布式机制中数据分配的效率,适应大规模数据的处理;该方法包括:多维数据记录DR通过MasterNode中Z Curve映射函数fz,生成降维结果集S;MasterNode选定k个哈希函数,通过Bloom Filter对结果集S进行映射,生成节点集NN;更新数据记录DR,对节点集NN中每个元素实行动态构建;用户User查询MDS结果,通过步骤1、步骤2获得节点集NN,启用并行查询方法;用户User对节点集NN中所有访问节点的结果集进行聚合,得到最终查询结果Rset。
-