公共数据层数据构建方法和系统
    3.
    发明公开

    公开(公告)号:CN118820266A

    公开(公告)日:2024-10-22

    申请号:CN202310409483.X

    申请日:2023-04-17

    Abstract: 本发明提供了一种公共数据层数据构建方法和系统,包括:步骤1:通过调用后台接口的方式,获取公共数据表所关联的维度元信息;步骤2:解析维度元信息,提取其中的业务数据;步骤3:提炼业务数据,组成SQL语句;步骤4:将SQL语句传输至后台计算源,计算源由Impala组件接收到SQL语句后进行解析与执行,将数据落入HDFS文件系统内,完成数据构建。本发明实现了公共数据层数据构建模块化,在提升数据构建效率的同时,减轻以往数据工程师所花费的大量运维成本,也大大降低了数据质量缺陷。

Patent Agency Ranking