大数据治理方法及相关装置、设备和存储介质

    公开(公告)号:CN117668124A

    公开(公告)日:2024-03-08

    申请号:CN202311526579.0

    申请日:2023-11-13

    Abstract: 本申请公开了一种大数据治理方法及相关装置、设备和存储介质,其中,大数据治理方法包括:从与大数据平台中数据采集层对接的源数据库,采集并缓存业务数据;其中,源数据库采用数据湖、数据仓中至少一种架构;调用大数据平台中数据计算层内的第一引擎,转存业务数据于大数据平台中的中间存储层;其中,中间存储层为数据湖架构的数据存储层;在数据计算层中选择并调用计算引擎,计算中间存储层中的业务数据,得到计算结果。上述方案,能够降低大数据平台架构复杂度、硬件成本、维护运维成本以及计算和存储资源,并尽可能地提升数据一致性。

Patent Agency Ranking