公开(公告)号：CN109902101A

公开(公告)日：2019-06-18

申请号：CN201910122512.8

申请日：2019-02-18

Applicant: 国家计算机网络与信息安全管理中心

Inventor： 刘欣然 ,  张鸿 ,  吕雁飞 ,  马秉楠 ,  惠榛 ,  徐庆 ,  兰钢临

IPC: G06F16/2453 ,  G06F16/242

Abstract: 本发明公开了一种基于SparkSQL的透明分区方法及装置，所述方法包括：在建表语句提交后，获取用户在创建分区表时指定分区字段和采用的分区策略，通过SQL解析器确定透明分区并将透明分区信息进行保存；当用户通过SQL查询数据时，通过SQL解析生成逻辑执行计划；根据逻辑执行计划中的查询条件，并结合保存的透明分区信息计算出本次查询的数据分区，然后通过改写逻辑执行计划并生成优化后的物理执行计划；根据生成的物理执行计划的执行步骤划分出具体的任务，通过所述任务从所述数据分区中读取数据。

公开(公告)号：CN109902101B

公开(公告)日：2021-04-02

申请号：CN201910122512.8

申请日：2019-02-18

Applicant: 国家计算机网络与信息安全管理中心

Inventor： 刘欣然 ,  张鸿 ,  吕雁飞 ,  马秉楠 ,  惠榛 ,  徐庆 ,  兰钢临

IPC: G06F16/2453 ,  G06F16/242

Abstract: 本发明公开了一种基于SparkSQL的透明分区方法及装置，所述方法包括：在建表语句提交后，获取用户在创建分区表时指定分区字段和采用的分区策略，通过SQL解析器确定透明分区并将透明分区信息进行保存；当用户通过SQL查询数据时，通过SQL解析生成逻辑执行计划；根据逻辑执行计划中的查询条件，并结合保存的透明分区信息计算出本次查询的数据分区，然后通过改写逻辑执行计划并生成优化后的物理执行计划；根据生成的物理执行计划的执行步骤划分出具体的任务，通过所述任务从所述数据分区中读取数据。