-
公开(公告)号:CN112328546B
公开(公告)日:2022-09-06
申请号:CN202011227556.6
申请日:2020-11-06
Applicant: 安徽明生恒卓科技有限公司
Abstract: 本发明公开了一种基于数据中台的增量数据核查方法,具体包括如下步骤:步骤一:通过调研使用OGG提供的logdump工具来解析指定的trail文件,查询出文件中包含的所有表的增量数据信息;步骤二:将步骤一中查询到的数据信息进行汇总,写入日志文件中;步骤三:定时执行通过Linux系统提供的cron调度实现,设置每天凌晨12点30分;本发明涉及数据中台接入业务技术领域。该基于数据中台的增量数据核查方法,该基于数据中台的增量数据核查方法,通过与源端表记录数和中台贴源层全量表记录数的核查结果比较,保证了通过OGGtrail文件中解析出来的日增量数据是真实有效的,较之之前的核查源端表数据量与中台贴源层全量表的数据量方式。
-
公开(公告)号:CN112559280A
公开(公告)日:2021-03-26
申请号:CN202011410534.3
申请日:2020-12-04
Applicant: 国网安徽省电力有限公司信息通信分公司 , 安徽明生恒卓科技有限公司 , 国家电网有限公司
Inventor: 胡聪 , 徐敏 , 洪德华 , 肖家锴 , 刘翠玲 , 张翠翠 , 薛晓茹 , 孙佳丽 , 王鹏 , 王国梁 , 宫政 , 雷沁怡 , 孙琦 , 赵林燕 , 陈超 , 徐晓龙 , 张福华 , 胡才亮 , 张懿操
Abstract: 本发明公开了一种基于数据中台的数据全链路监控方法。该方法包括数据采集和数据处理。本发明可实现全链路数据可视化监控功能,帮助数据管理运维人员直观发现组件异常、延时等情况,无需逐个组件排查,发现问题、解决问题的效率得到很大程度的提高。还可以帮助数据运维人员及时发现有异常组件影响的支撑应用范围,及时规避由此带来的应用业务风险。
-
公开(公告)号:CN112446687A
公开(公告)日:2021-03-05
申请号:CN202011409010.2
申请日:2020-12-04
Applicant: 国网安徽省电力有限公司信息通信分公司 , 安徽明生恒卓科技有限公司 , 国家电网有限公司
Inventor: 顾峰 , 胡聪 , 徐敏 , 洪德华 , 肖家锴 , 刘翠玲 , 张翠翠 , 孙佳丽 , 王鹏 , 薛晓茹 , 王国梁 , 宫政 , 雷沁怡 , 孙琦 , 赵林燕 , 陈超 , 徐晓龙 , 张福华 , 胡才亮 , 张懿操
IPC: G06Q10/10 , G06Q30/06 , G06F16/953
Abstract: 本发明公开了一种基于数据中台的数据在线服务方法,包括数据资源整合、数据资源标签、数据在线查询、数据资源申请、数据申请审批等五个步骤。本发明提供在线一站式数据资源收集和多部门数据审批授权,提高数据申请使用的效率,并且可以形成有效数据授权日志,以此为基础分析数据共享价值,为数据运维工作侧重方向提供科学有效依据。
-
公开(公告)号:CN112559280B
公开(公告)日:2023-08-22
申请号:CN202011410534.3
申请日:2020-12-04
Applicant: 国网安徽省电力有限公司信息通信分公司 , 安徽明生恒卓科技有限公司 , 国家电网有限公司
Inventor: 胡聪 , 徐敏 , 洪德华 , 肖家锴 , 刘翠玲 , 张翠翠 , 薛晓茹 , 孙佳丽 , 王鹏 , 王国梁 , 宫政 , 雷沁怡 , 孙琦 , 赵林燕 , 陈超 , 徐晓龙 , 张福华 , 胡才亮 , 张懿操
IPC: G06F11/30 , G06F11/34 , G06F11/32 , H04L41/0631
Abstract: 本发明公开了一种基于数据中台的数据全链路监控方法。该方法包括数据采集和数据处理。本发明可实现全链路数据可视化监控功能,帮助数据管理运维人员直观发现组件异常、延时等情况,无需逐个组件排查,发现问题、解决问题的效率得到很大程度的提高。还可以帮助数据运维人员及时发现有异常组件影响的支撑应用范围,及时规避由此带来的应用业务风险。
-
公开(公告)号:CN112328546A
公开(公告)日:2021-02-05
申请号:CN202011227556.6
申请日:2020-11-06
Applicant: 安徽明生恒卓科技有限公司
Abstract: 本发明公开了一种基于数据中台的增量数据核查方法,具体包括如下步骤:步骤一:通过调研使用OGG提供的logdump工具来解析指定的trail文件,查询出文件中包含的所有表的增量数据信息;步骤二:将步骤一中查询到的数据信息进行汇总,写入日志文件中;步骤三:定时执行通过Linux系统提供的cron调度实现,设置每天凌晨12点30分;本发明涉及数据中台接入业务技术领域。该基于数据中台的增量数据核查方法,该基于数据中台的增量数据核查方法,通过与源端表记录数和中台贴源层全量表记录数的核查结果比较,保证了通过OGGtrail文件中解析出来的日增量数据是真实有效的,较之之前的核查源端表数据量与中台贴源层全量表的数据量方式。
-
-
-
-