公开(公告)号：CN110647518B

公开(公告)日：2020-04-28

申请号：CN201911188323.7

申请日：2019-11-28

Applicant: 成都四方伟业软件股份有限公司

Inventor： 侯良伟 ,  陶亮 ,  王纯斌 ,  赵神州

IPC: G06F16/21 ,  G06F16/22 ,  G06F16/28

Abstract: 本发明公开了一种数据源融合计算方法、组件及装置，在本技术方案中不需要预先创建外部表，只需依赖数据源连接信息就可以直接展开多数据源计算。首先，我们会解析用户的SQL语句；然后，根据解析结果只从源数据库中抽取用户业务中需要的数据；最后，将这些数据在DTC‑FUSION上展开融合计算，并将结果输出到用户指定的目标数据库。解决了在现有的技术中一般通过Spark进行数据融合计算，其支持的数据源种类受限，而且每个数据源的表数据是全量读取，然后在内存中计算，这样参与计算的数据量巨大，对内存和网络I/O的压力非常大的问题。

公开(公告)号：CN110647518A

公开(公告)日：2020-01-03

申请号：CN201911188323.7

申请日：2019-11-28

Applicant: 成都四方伟业软件股份有限公司

Inventor： 侯良伟 ,  陶亮 ,  王纯斌 ,  赵神州

IPC: G06F16/21 ,  G06F16/22 ,  G06F16/28

Abstract: 本发明公开了一种数据源融合计算方法、组件及装置，在本技术方案中不需要预先创建外部表，只需依赖数据源连接信息就可以直接展开多数据源计算。首先，我们会解析用户的SQL语句；然后，根据解析结果只从源数据库中抽取用户业务中需要的数据；最后，将这些数据在DTC-FUSION上展开融合计算，并将结果输出到用户指定的目标数据库。解决了在现有的技术中一般通过Spark进行数据融合计算，其支持的数据源种类受限，而且每个数据源的表数据是全量读取，然后在内存中计算，这样参与计算的数据量巨大，对内存和网络I/O的压力非常大的问题。