基于虚拟容器的大数据存储与管理方法
摘要:
本发明提供了一种基于虚拟容器的大数据存储与管理系统及方法,该系统包括:元数据服务器,用于维护租户信息和用户信息,并在用户访问元数据和容器时进行权限认证;调度器,包括两层调度,上层调度为容器级别的调度,下层调度为任务级别的调度,上层调度用于接收用户的请求,并为用户分配和配置对应的容器,下层调度由每个大数据计算框架的主节点完成,调度器实现容器的调度;从服务器,控制所述物理机上的容器的启停,并监控物理机的资源,将资源和任务运行情况反馈给调度器。该系统采用虚拟容器技术进行资源与环境的隔离,采用双层调度的架构降低了上层调度器负载和分布式应用与调度器的耦合度,并且对实时调度存储系统提供了支持。
公开/授权文献
0/0