任务异步处理方法、装置、存储介质及电子装置

    公开(公告)号:CN116166722A

    公开(公告)日:2023-05-26

    申请号:CN202111407069.2

    申请日:2021-11-24

    Inventor: 韩林

    Abstract: 本申请实施例提供了一种任务异步处理方法、装置、存储介质及电子装置,该方法包括:将数据ETL任务的启动状态和等待状态从运行状态中剥离,得到处理后的运行状态;将数据ETL任务转换为数据ETL任务a与数据ETL任务b;控制该启动状态和该等待状态下的数据ETL任务a在从ETL服务器上执行,并控制该处理后的运行状态下的数据ETL任务b在主ETL服务器上前后异步执行,其中,在该从ETL服务器上执行的任务不受任务运行并发数量阈值的限制,该主ETL服务器上执行的任务受该任务运行并发数量阈值的限制,可以解决相关技术中分布式数据ETL任务处理效率低下、资源管理策略一刀切且不合理的问题,提高了数据ETL任务处理能力。

    数据血缘关系的确定方法及装置、存储介质、电子装置

    公开(公告)号:CN114691786A

    公开(公告)日:2022-07-01

    申请号:CN202011617620.1

    申请日:2020-12-30

    Inventor: 韩林 侯春华 申光

    Abstract: 本发明提供了一种数据血缘关系的确定方法及装置、存储介质、电子装置,上述方法包括:获取抽取转换加载ETL任务的元数据,其中,元数据包括以下至少之一:数据库,数据表,数据字段;对元数据进行分析处理,以将ETL任务的元数据,元数据的包含关系以及元数据之间的映射关系保存在图数据库中,其中,包含关系用于指示数据库,数据表和数据字段之间的两两包含关系,映射关系用于指示数据库,数据表和数据字段之间的两两映射关系;响应目标数据的数据查询请求,通过图数据库确定目标数据的数据血缘关系,即将ETL任务的元数据,元数据的包含关系以及元数据之间的映射关系保存在图数据库中,进而通过图数据库确定目标数据的数据血缘关系。

Patent Agency Ranking