公开(公告)号：CN108920552B

公开(公告)日：2022-04-29

申请号：CN201810630231.9

申请日：2018-06-19

Applicant: 浙江工业大学

Inventor： 杨良怀 ,  卢晨曦 ,  范玉雷

IPC: G06F16/22

Abstract: 本发明公开了一种面向多源大数据流的分布式索引方法，可实现数据流高效存储、索引快速构建，并提供高并发的近实时查询服务。针对多源大数据流特点，本发明提出了三层的分布式索引结构：最底层是基于数据流元组的索引，中间层是基于数据流时间窗口的索引，顶层是基于数据源的索引。由于单个计算节点的资源和处理能力有限，无法有效应对潜在规模无限和实时到达的数据流应用场景，本发明设计出主从结构和P2P结构相结合的集群架构。集群中主要由索引构建节点，查询节点，查询分发节点，存储节点，主控节点这五种节点组成，同时考虑集群中的数据存储、负载均衡、可扩展性因素，使得各个节点相互协作，稳定运转，从而提供高效的服务。

公开(公告)号：CN108920552A

公开(公告)日：2018-11-30

申请号：CN201810630231.9

申请日：2018-06-19

Applicant: 浙江工业大学

Inventor： 杨良怀 ,  卢晨曦 ,  范玉雷

IPC: G06F17/30

Abstract: 本发明公开了一种面向多源大数据流的分布式索引方法，可实现数据流高效存储、索引快速构建，并提供高并发的近实时查询服务。针对多源大数据流特点，本发明提出了三层的分布式索引结构：最底层是基于数据流元组的索引，中间层是基于数据流时间窗口的索引，顶层是基于数据源的索引。由于单个计算节点的资源和处理能力有限，无法有效应对潜在规模无限和实时到达的数据流应用场景，本发明设计出主从结构和P2P结构相结合的集群架构。集群中主要由索引构建节点，查询节点，查询分发节点，存储节点，主控节点这五种节点组成，同时考虑集群中的数据存储、负载均衡、可扩展性因素，使得各个节点相互协作，稳定运转，从而提供高效的服务。