公开(公告)号：CN109902101A

公开(公告)日：2019-06-18

申请号：CN201910122512.8

申请日：2019-02-18

Applicant: 国家计算机网络与信息安全管理中心

Inventor： 刘欣然 ,  张鸿 ,  吕雁飞 ,  马秉楠 ,  惠榛 ,  徐庆 ,  兰钢临

IPC: G06F16/2453 ,  G06F16/242

Abstract: 本发明公开了一种基于SparkSQL的透明分区方法及装置，所述方法包括：在建表语句提交后，获取用户在创建分区表时指定分区字段和采用的分区策略，通过SQL解析器确定透明分区并将透明分区信息进行保存；当用户通过SQL查询数据时，通过SQL解析生成逻辑执行计划；根据逻辑执行计划中的查询条件，并结合保存的透明分区信息计算出本次查询的数据分区，然后通过改写逻辑执行计划并生成优化后的物理执行计划；根据生成的物理执行计划的执行步骤划分出具体的任务，通过所述任务从所述数据分区中读取数据。

公开(公告)号：CN109885429A

公开(公告)日：2019-06-14

申请号：CN201910124263.6

申请日：2019-02-18

Applicant: 国家计算机网络与信息安全管理中心

Inventor： 刘欣然 ,  张鸿 ,  吕雁飞 ,  马秉楠 ,  惠榛 ,  于海洋 ,  兰钢临 ,  孙伟

IPC: G06F11/14

Abstract: 本发明公开了一种大数据灾备方法及装置，所述方法包括：将本数据中心的将待入库数据写入Kafka中间件，将Kafka中间件中的待入库数据备份到另外一个数据中心，接收所述另外一个数据中心发送的灾备数据，并将所述灾备数据写入所述Kafka中间件；在备份完成后，通过Flume将Kafka中间件的待入库数据进行入库。

公开(公告)号：CN109902101B

公开(公告)日：2021-04-02

申请号：CN201910122512.8

申请日：2019-02-18

Applicant: 国家计算机网络与信息安全管理中心

Inventor： 刘欣然 ,  张鸿 ,  吕雁飞 ,  马秉楠 ,  惠榛 ,  徐庆 ,  兰钢临

IPC: G06F16/2453 ,  G06F16/242

Abstract: 本发明公开了一种基于SparkSQL的透明分区方法及装置，所述方法包括：在建表语句提交后，获取用户在创建分区表时指定分区字段和采用的分区策略，通过SQL解析器确定透明分区并将透明分区信息进行保存；当用户通过SQL查询数据时，通过SQL解析生成逻辑执行计划；根据逻辑执行计划中的查询条件，并结合保存的透明分区信息计算出本次查询的数据分区，然后通过改写逻辑执行计划并生成优化后的物理执行计划；根据生成的物理执行计划的执行步骤划分出具体的任务，通过所述任务从所述数据分区中读取数据。

公开(公告)号：CN108536728A

公开(公告)日：2018-09-14

申请号：CN201810158917.2

申请日：2018-02-24

Applicant: 国家计算机网络与信息安全管理中心

Inventor： 惠榛 ,  张鸿 ,  刘欣然 ,  郭东东 ,  吕雁飞 ,  马秉楠 ,  兰钢临

IPC: G06F17/30

Abstract: 本发明公开了一种数据查询方法和装置。该方法包括：获取查询计划；确定所述查询计划中包含的数据源信息；根据所述数据源信息，对所述查询计划执行转义操作；根据转义后的所述查询计划，从所述数据源信息对应的数据源中查询数据并展示查询结果。本发明通过将查询计划进行转义操作，将查询计划转义为需要查询的数据库能够识别的语言，通过这种操作，可以使用一条查询计划同时查询不同数据库，实现跨平台联合查询，提升了数据查询效率，打通了不同数据库之间的技术壁垒，降低了开发人员的学习门槛。