公开(公告)号：CN114647641B

公开(公告)日：2025-04-18

申请号：CN202210368943.4

申请日：2022-04-08

Applicant: 河钢数字技术股份有限公司

Inventor： 郑士良 ,  刘威宪 ,  黎荣华 ,  安宝 ,  刘东东 ,  林楠 ,  陈文豪 ,  张夏楠

IPC: G06F16/215 ,  G06F16/22 ,  G06F16/23 ,  G06F16/2458

Abstract: 本发明公开了一种基于HIVE的数据增量采集方法，涉及大数据采集与数据清洗治理技术领域。该基于HIVE的数据增量采集方法在使用时，只需要配置相关的采集任务和sql脚本任务，将sql脚本放入可执行带参数sql脚本的sql执行工具中，只暴露出表名，创建时间，更新时间，主键，原表可能会删除数据的时间段n，用户只需填入这几个关键信息进行sql执行任务配置，即可统一解决以上问题，保证数据的一致性；sql脚本处理流程复用性强，形式灵活，操作简单，将sql脚本放入执行工具，只需填入相关参数，即可进行各类治理，适用于hive库内所有类型的表及表内不同格式的时间字段的情况。

公开(公告)号：CN114647641A

公开(公告)日：2022-06-21

申请号：CN202210368943.4

申请日：2022-04-08

Applicant: 河钢数字技术股份有限公司

Inventor： 郑士良 ,  刘威宪 ,  黎荣华 ,  安宝 ,  刘东东 ,  林楠 ,  陈文豪 ,  张夏楠

IPC: G06F16/215 ,  G06F16/22 ,  G06F16/23 ,  G06F16/2458

Abstract: 本发明公开了一种基于HIVE的数据增量采集方法，涉及大数据采集与数据清洗治理技术领域。该基于HIVE的数据增量采集方法在使用时，只需要配置相关的采集任务和sql脚本任务，将sql脚本放入可执行带参数sql脚本的sql执行工具中，只暴露出表名，创建时间，更新时间，主键，原表可能会删除数据的时间段n，用户只需填入这几个关键信息进行sql执行任务配置，即可统一解决以上问题，保证数据的一致性；sql脚本处理流程复用性强，形式灵活，操作简单，将sql脚本放入执行工具，只需填入相关参数，即可进行各类治理，适用于hive库内所有类型的表及表内不同格式的时间字段的情况。