公开(公告)号：CN106649847A

公开(公告)日：2017-05-10

申请号：CN201611255956.1

申请日：2016-12-30

Applicant: 南威软件股份有限公司

Inventor： 陈嵩荣 ,  郑志伟 ,  张木辉 ,  蔡剑齐 ,  王晓强

IPC: G06F17/30

CPC classification number: G06F17/30194 ,  G06F17/30106 ,  G06F17/30327 ,  G06F17/30424

Abstract: 本发明公开了一种基于Hadoop的大数据实时处理系统。本发明实施例中在创建查询任务的同时，进行过滤索引，过滤索引的同时可以将过滤完的索引文件分发到datanode上面，同时datanode完成本地文件的查询，并向客户端返回查询结果。并且本发明实施例中任何datanode的查询完成，都可以通过实时传输中间件的周期轮询机制快速的向客户端返回查询结果。本发明实施例中，在HDFS内的数据查询处理过程都是并发执行的，最大限度的利用了计算机的硬件设备，使查询达到了实时完成，极大地提高了查询的效率，用户执行查询操作时便能获得查询结果，提高数据查询的效率，快速响应客户端的查询请求。

公开(公告)号：CN107729428A

公开(公告)日：2018-02-23

申请号：CN201710900972.X

申请日：2017-09-28

Applicant: 南威软件股份有限公司

Inventor： 张木辉 ,  蔡剑齐 ,  林金儒 ,  黄思伟

IPC: G06F17/30

CPC classification number: G06F17/30404 ,  G06F17/30427

Abstract: 本发明涉及一种基于Presto和Elasticsearch的SQL查询方法，其通过Presto集群接收前端请求的SQL语句，将SQL语句解析成相应的查询计划；然后将查询计划下发到Elasticsearch集群的各个ES节点执行相应的请求。本发明通过Elasticsearch集群进行数据的保存和快速查询，通过Presto集群进行SQL的接收和解析,实现了采用SQL语言对Elasticsearch的查询、分析等操作，降低了开发人员和分析人员使用Elasticsearch的门槛，统一了开发人员和分析人员使用Elasticsearch的方式，提升了Elasticsearch的查询效率。

公开(公告)号：CN110347755A

公开(公告)日：2019-10-18

申请号：CN201910609023.5

申请日：2019-07-08

Applicant: 南威软件股份有限公司

Inventor： 蔡剑齐 ,  蔡炜榕

IPC: G06F16/28 ,  G06F16/27 ,  G06F16/21

Abstract: 本发明提供一种基于Hadoop和HBase的大数据多维数据分析方法，包括：定义多维数据模型，其维度根据用户需要从源数据的表的字段中选取，并配置需要的分析度量；根据定义的多维分析数据模型的维度n，从数据源中读取对应的数据，采用Hadoop对所述数据进行计算，得到2n种组合的数据立方体，将数据立方体保存到HBase数据库中；输入一数据库查询语句，通过Rest服务层转发给查询引擎，查询引擎将数据库查询语句转换为对应的符合HBase查询的API语句，根据API语句通过路由选择并结合HBase自带的查询机制获取HBase内符合查询条件的数据或数据集。本发明还提供一种基于Hadoop和HBase的大数据多维数据分析系统，满足超大数据集下的实时查询、分组和聚合，提高数据处理效率。