一种基于数据中台的增量数据核查方法

    公开(公告)号:CN112328546B

    公开(公告)日:2022-09-06

    申请号:CN202011227556.6

    申请日:2020-11-06

    Abstract: 本发明公开了一种基于数据中台的增量数据核查方法,具体包括如下步骤:步骤一:通过调研使用OGG提供的logdump工具来解析指定的trail文件,查询出文件中包含的所有表的增量数据信息;步骤二:将步骤一中查询到的数据信息进行汇总,写入日志文件中;步骤三:定时执行通过Linux系统提供的cron调度实现,设置每天凌晨12点30分;本发明涉及数据中台接入业务技术领域。该基于数据中台的增量数据核查方法,该基于数据中台的增量数据核查方法,通过与源端表记录数和中台贴源层全量表记录数的核查结果比较,保证了通过OGGtrail文件中解析出来的日增量数据是真实有效的,较之之前的核查源端表数据量与中台贴源层全量表的数据量方式。

    一种基于数据中台的增量数据核查方法

    公开(公告)号:CN112328546A

    公开(公告)日:2021-02-05

    申请号:CN202011227556.6

    申请日:2020-11-06

    Abstract: 本发明公开了一种基于数据中台的增量数据核查方法,具体包括如下步骤:步骤一:通过调研使用OGG提供的logdump工具来解析指定的trail文件,查询出文件中包含的所有表的增量数据信息;步骤二:将步骤一中查询到的数据信息进行汇总,写入日志文件中;步骤三:定时执行通过Linux系统提供的cron调度实现,设置每天凌晨12点30分;本发明涉及数据中台接入业务技术领域。该基于数据中台的增量数据核查方法,该基于数据中台的增量数据核查方法,通过与源端表记录数和中台贴源层全量表记录数的核查结果比较,保证了通过OGGtrail文件中解析出来的日增量数据是真实有效的,较之之前的核查源端表数据量与中台贴源层全量表的数据量方式。

Patent Agency Ranking