-
公开(公告)号:CN111327681A
公开(公告)日:2020-06-23
申请号:CN202010068966.4
申请日:2020-01-21
Applicant: 北京工业大学
IPC: H04L29/08 , H04L29/06 , G06F16/18 , G06F9/455 , G06F16/182
Abstract: 本发明公开了一种基于Kubernetes的云计算数据平台构建方法,通过Docker技术实现资源隔离和控制,利用Kubernetes对容器进行管理和编排;通过Flume+Kafka实现数据采集和数据流的传输与管理;利用Spark计算框架对采集的数据进行处理,并用HDFS作为分布式存储系统来存储数据,实现存储节点动态伸缩;结合ElasticSearch和HBase+Phoenix工具来实现查询和分析功能;本发明实现数据从采集到入库分析和整个平台的监控功能,高效完成数据的处理、流转和存储,通过微服务方式来实现资源按需获取避免不必要的资源浪费,实现集群的负载均衡、灾难恢复和弹性伸缩。