一种海量web日志数据查询与分析方法
摘要:
本发明利用Hadoop/Hive分布式计算平台的高可靠性、高扩展性、高效性以及高容错性,公开了一种基于Hadoop和Hive的海量web日志数据的查询与分析方法。本发明包括以下步骤:对各个数据源的数据进行解析;将数据装载进数据仓库中;接收HiveQL语句;对接受语句进行优化,得到初步map结果;将接受语句转换成MapReduce任务执行并存储查询结果;数据分割;对数据进行分析挖掘;将数据装载进Mysql数据库中。本发明针对海量的web日志数据,实现精确地查询和数据分析,既能实现海量数据存储查询分析的可扩展性和高效性,也避免数据倾斜带来的job分布不均整体性能下降的问题。
公开/授权文献
0/0