-
公开(公告)号:CN109918437A
公开(公告)日:2019-06-21
申请号:CN201910178282.7
申请日:2019-03-08
Applicant: 北京中油瑞飞信息技术有限责任公司
IPC: G06F16/25
Abstract: 本发明提供一种分布式数据处理方法、装置及数据资产管理系统。方法包括:基于用户触发的用于创建ETL任务的第一操作指令,从预先存储的组件集中确定出与第一操作指令对应的数据抽取组件、数据转换组件及数据加载组件,其中,数据抽取组件用于从源数据库中获取待处理数据,数据转换组件用于对待处理数据按照预设执行策略进行处理,数据加载组件用于将待处理数据经处理后得到的数据加载到目标数据库中;根据第一操作指令中携带的配置参数、数据抽取组件、数据转换组件及数据加载组件构建配置文件;基于配置文件创建ETL任务,能够改善现有技术中因对不同功能需求需要用户单独开发程序代码而使得ETL任务创建的效率低的技术问题。