基于Hadoop的分布式数据仓库的构建方法

    公开(公告)号:CN114490890A

    公开(公告)日:2022-05-13

    申请号:CN202210093431.1

    申请日:2022-01-26

    Applicant: 复旦大学

    Inventor: 荀皓 冯瑞

    Abstract: 本发明提供一种基于Hadoop的分布式数据仓库的构建方法,其中,Flume用于对目标数据进行采集,Hive用于对采集得到的数据进行计算,从而形成离线的、分布式的数据仓库,Zookeeper用于对数据仓库的各类组件进行协调服务,并且数据仓库基于预定的分层模型被分为了多层,因此,通过本发明的构建方法,能够基于Hadoop文件系统搭建离线的、分布式的数据仓库,并且通过对数据仓库进行分层,能够将原始的杂乱无章的大量数据进行聚合整理,并可根据业务需要得到多个数据指标,从而能够使大型企业更方便、高效地对其海量数据进行有效的管理。

Patent Agency Ranking