公开(公告)号：CN107748766A

公开(公告)日：2018-03-02

申请号：CN201710900970.0

申请日：2017-09-28

Applicant: 南威软件股份有限公司

Inventor： 洪灿榕 ,  吴晓梅 ,  李明溪 ,  蔡炜榕

IPC: G06F17/30

CPC classification number: G06F17/30964 ,  G06F17/30946

Abstract: 本发明涉及一种基于Presto和Elasticsearch的大数据快速查询方法，其将所有被查询数据包含时间字段并按日分索引的方式保存在Elasticsearch集群中，然后通过Presto集群接收并解析SQL请求生成相应的查询计划，获取满足查询计划的数据在Elasticsearch集群中的索引范围；通过逐步统计和计算，定位出所要查询的目标页数据所在的索引和时间区间；将时间区间加入原SQL语句的查询条件中从Elasticsearch集群中读取目标页的数据信息。本发明快速定位了目标页数据所在位置，大幅减少多余数据的读取，以提高随机跳页查询的性能。

公开(公告)号：CN107748766B

公开(公告)日：2021-08-24

申请号：CN201710900970.0

申请日：2017-09-28

Applicant: 南威软件股份有限公司

Inventor： 洪灿榕 ,  吴晓梅 ,  李明溪 ,  蔡炜榕

IPC: G06F16/901 ,  G06F16/903

Abstract: 本发明涉及一种基于Presto和Elasticsearch的大数据快速查询方法，其将所有被查询数据包含时间字段并按日分索引的方式保存在Elasticsearch集群中，然后通过Presto集群接收并解析SQL请求生成相应的查询计划，获取满足查询计划的数据在Elasticsearch集群中的索引范围；通过逐步统计和计算，定位出所要查询的目标页数据所在的索引和时间区间；将时间区间加入原SQL语句的查询条件中从Elasticsearch集群中读取目标页的数据信息。本发明快速定位了目标页数据所在位置，大幅减少多余数据的读取，以提高随机跳页查询的性能。

公开(公告)号：CN110347755A

公开(公告)日：2019-10-18

申请号：CN201910609023.5

申请日：2019-07-08

Applicant: 南威软件股份有限公司

Inventor： 蔡剑齐 ,  蔡炜榕

IPC: G06F16/28 ,  G06F16/27 ,  G06F16/21

Abstract: 本发明提供一种基于Hadoop和HBase的大数据多维数据分析方法，包括：定义多维数据模型，其维度根据用户需要从源数据的表的字段中选取，并配置需要的分析度量；根据定义的多维分析数据模型的维度n，从数据源中读取对应的数据，采用Hadoop对所述数据进行计算，得到2n种组合的数据立方体，将数据立方体保存到HBase数据库中；输入一数据库查询语句，通过Rest服务层转发给查询引擎，查询引擎将数据库查询语句转换为对应的符合HBase查询的API语句，根据API语句通过路由选择并结合HBase自带的查询机制获取HBase内符合查询条件的数据或数据集。本发明还提供一种基于Hadoop和HBase的大数据多维数据分析系统，满足超大数据集下的实时查询、分组和聚合，提高数据处理效率。