-
公开(公告)号：CN117743730A
公开(公告)日：2024-03-22
申请号：CN202311794201.9
申请日：2023-12-25
Applicant: 北京中农信达信息技术有限公司
Abstract: 本发明提供一种基于维度树自动指标关联计算的方法及系统，涉及数据处理技术领域，包括：针对业务建立维度树，包括建立维度节点，设置维度节点的属性；根据业务的变化和发展，在维度树中任一维度节点下建立下一级的维度节点，下一级的维度节点继承其上一级维度节点的属性；在维度树中选择维度节点挂载指标，先选择指标类型，包括基础指标和复合指标，再定义指标的计算规则，最后将该指标挂载到该维度节点下；计算指标时，确认指标所在的维度节点，判断指标的类型，计算指标结果。本发明根据项目实际需求动态的增加和计算指标，满足业务的变化和发展需求，提高数据处理的效率和准确性。
-
公开(公告)号：CN118051562A
公开(公告)日：2024-05-17
申请号：CN202410203720.1
申请日：2024-02-23
Applicant: 北京中农信达信息技术有限公司
Inventor： 曹立宁
Abstract: 本发明公开了一种分布式多线程数据同步方法及系统，方法包括：根据配置的所要同步数据的数据来源、目标数据源、同步速率和执行周期，生成整库数据同步任务；根据用户所选择的需要同步的数据库，将整库数据同步任务分解得到数据同步子任务；由执行器分布式并行执行数据同步子任务；利用任务轮询机制对数据同步子任务进行轮询检测，将执行完成后的子任务移除并添加新的子任务，使得执行中的子任务数量保持预设任务并行度阈值，直至所有数据同步完成。通过本发明的技术方案，解决了单机模式数据同步硬件资源有限问题，同时具备同步任务运行资源可扩展性，简化了任务配置过程，解决了批量执行方式资源浪费问题。
-
公开(公告)号：CN118051511A
公开(公告)日：2024-05-17
申请号：CN202410203712.7
申请日：2024-02-23
Applicant: 北京中农信达信息技术有限公司
Inventor： 曹立宁
IPC: G06F16/215 , G06F16/28 , G06F16/25
Abstract: 本发明公开了一种海量数据快速校验及异常数据处理方法及系统，方法包括：提交数据检查任务至数据库集群，根据数据检查任务对应数据源，分区加载对应的数据；解析数据检查任务中预配置的检查规则，并根据检查规则生成检查任务工作流；自动执行检查任务工作流，获取检查筛选得到的异常数据，并对异常数据进行异常数据处理。通过本发明的技术方案，支持数据全生命周期管控，且只加载一次原始数据即可完成多规则的数据质量检查，实现了海量数据质检任务的高效处理，无需用户针对异常数据手动配置处理逻辑，极大的简化了繁琐的用户配置程序，实现了数据检查到数据处理的一站式全自动化配置。
-
-
Search Results
3
records
(took 0.024 seconds)
