-
公开(公告)号:CN118820266A
公开(公告)日:2024-10-22
申请号:CN202310409483.X
申请日:2023-04-17
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/242 , G06F16/22
Abstract: 本发明提供了一种公共数据层数据构建方法和系统,包括:步骤1:通过调用后台接口的方式,获取公共数据表所关联的维度元信息;步骤2:解析维度元信息,提取其中的业务数据;步骤3:提炼业务数据,组成SQL语句;步骤4:将SQL语句传输至后台计算源,计算源由Impala组件接收到SQL语句后进行解析与执行,将数据落入HDFS文件系统内,完成数据构建。本发明实现了公共数据层数据构建模块化,在提升数据构建效率的同时,减轻以往数据工程师所花费的大量运维成本,也大大降低了数据质量缺陷。