-
公开(公告)号：CN114647641B
公开(公告)日：2025-04-18
申请号：CN202210368943.4
申请日：2022-04-08
Applicant: 河钢数字技术股份有限公司
IPC: G06F16/215 , G06F16/22 , G06F16/23 , G06F16/2458
Abstract: 本发明公开了一种基于HIVE的数据增量采集方法，涉及大数据采集与数据清洗治理技术领域。该基于HIVE的数据增量采集方法在使用时，只需要配置相关的采集任务和sql脚本任务，将sql脚本放入可执行带参数sql脚本的sql执行工具中，只暴露出表名，创建时间，更新时间，主键，原表可能会删除数据的时间段n，用户只需填入这几个关键信息进行sql执行任务配置，即可统一解决以上问题，保证数据的一致性；sql脚本处理流程复用性强，形式灵活，操作简单，将sql脚本放入执行工具，只需填入相关参数，即可进行各类治理，适用于hive库内所有类型的表及表内不同格式的时间字段的情况。
-
公开(公告)号：CN115829080A
公开(公告)日：2023-03-21
申请号：CN202211281002.3
申请日：2022-10-19
Applicant: 河钢数字技术股份有限公司
Abstract: 本发明公开了一种基于大数据的劳动力人口精算模型方法，具体步骤为：S1：数据输入；S2：数据算法；S21：未来各数据比率测算；S23：未来年度劳动力人口数各项维度计算；S231：未来年度总人口数计算：S232：未来年度净在校人数：S233：未来年度净流出人数；S234：未来年度净服刑人数：S235：未来年度净丧失劳动力人数：S3：数据输出；本发明详细介绍了对于劳动力人口预测的影响因素及基本计算方法，在数据能够充分提供的情况下，本发明可以提供一种考虑因素相对更全面的劳动力预测模型算法，使得得出的结论更加精确有效，实现对未来二十年按性别、年龄、户口性质分组的劳动力人口的精确预测。
-
公开(公告)号：CN114647641A
公开(公告)日：2022-06-21
申请号：CN202210368943.4
申请日：2022-04-08
Applicant: 河钢数字技术股份有限公司
IPC: G06F16/215 , G06F16/22 , G06F16/23 , G06F16/2458
Abstract: 本发明公开了一种基于HIVE的数据增量采集方法，涉及大数据采集与数据清洗治理技术领域。该基于HIVE的数据增量采集方法在使用时，只需要配置相关的采集任务和sql脚本任务，将sql脚本放入可执行带参数sql脚本的sql执行工具中，只暴露出表名，创建时间，更新时间，主键，原表可能会删除数据的时间段n，用户只需填入这几个关键信息进行sql执行任务配置，即可统一解决以上问题，保证数据的一致性；sql脚本处理流程复用性强，形式灵活，操作简单，将sql脚本放入执行工具，只需填入相关参数，即可进行各类治理，适用于hive库内所有类型的表及表内不同格式的时间字段的情况。
-
公开(公告)号：CN114547045A
公开(公告)日：2022-05-27
申请号：CN202210251897.X
申请日：2022-03-15
Applicant: 河钢数字技术股份有限公司
Abstract: 本发明公开了一种基于实时数据库的数据采集存储方法，涉及大数据采集与存储技术领域。包括：S1、启动杀毒软件，对数据库进行扫描，确认无任何流氓软件或病毒植入后，启动数据源实时数据库设备数据；S2、通过以restful接口方式的java项目，定时采集数据；S3、采集到接口数据后，分别存储到实时数据表，N小时数据表和历史数据表。该基于实时数据库的数据采集存储方法将实时采集数据与历史数据分离，用三张表分别存储实时数据、N小时数据、全量历史数据，展示实时数据用实时数据表，查看实时数据趋势用N小时数据表，查询历史数据用历史数据表，这时展示实时数据时页面反馈速度就会比之前显著变短。
-
-
-
Search Results
4
records
(took 0.023 seconds)
