公开(公告)号：CN106649847A

公开(公告)日：2017-05-10

申请号：CN201611255956.1

申请日：2016-12-30

Applicant: 南威软件股份有限公司

Inventor： 陈嵩荣 ,  郑志伟 ,  张木辉 ,  蔡剑齐 ,  王晓强

IPC: G06F17/30

CPC classification number: G06F17/30194 ,  G06F17/30106 ,  G06F17/30327 ,  G06F17/30424

Abstract: 本发明公开了一种基于Hadoop的大数据实时处理系统。本发明实施例中在创建查询任务的同时，进行过滤索引，过滤索引的同时可以将过滤完的索引文件分发到datanode上面，同时datanode完成本地文件的查询，并向客户端返回查询结果。并且本发明实施例中任何datanode的查询完成，都可以通过实时传输中间件的周期轮询机制快速的向客户端返回查询结果。本发明实施例中，在HDFS内的数据查询处理过程都是并发执行的，最大限度的利用了计算机的硬件设备，使查询达到了实时完成，极大地提高了查询的效率，用户执行查询操作时便能获得查询结果，提高数据查询的效率，快速响应客户端的查询请求。

公开(公告)号：CN107729428A

公开(公告)日：2018-02-23

申请号：CN201710900972.X

申请日：2017-09-28

Applicant: 南威软件股份有限公司

Inventor： 张木辉 ,  蔡剑齐 ,  林金儒 ,  黄思伟

IPC: G06F17/30

CPC classification number: G06F17/30404 ,  G06F17/30427

Abstract: 本发明涉及一种基于Presto和Elasticsearch的SQL查询方法，其通过Presto集群接收前端请求的SQL语句，将SQL语句解析成相应的查询计划；然后将查询计划下发到Elasticsearch集群的各个ES节点执行相应的请求。本发明通过Elasticsearch集群进行数据的保存和快速查询，通过Presto集群进行SQL的接收和解析,实现了采用SQL语言对Elasticsearch的查询、分析等操作，降低了开发人员和分析人员使用Elasticsearch的门槛，统一了开发人员和分析人员使用Elasticsearch的方式，提升了Elasticsearch的查询效率。