一种基于能耗感知的Spark节能调度方法

    公开(公告)号:CN107704069B

    公开(公告)日:2020-08-04

    申请号:CN201710452338.4

    申请日:2017-06-15

    Abstract: 本发明公开了一种基于能耗感知的Spark节能调度方法。首先构建Spark计算框架下大数据计算能耗模型,基于该模型建立任务与计算资源的能耗和执行时间关系策略表,通过策略表指导并优化Spark任务调度,在保证并行计算效率的前提下有效降低计算总能耗。本发明解决了Spark原有调度策略无法感知能耗的缺陷,该方法具有能耗感知,动态优化调度和高可扩展的特点,有效降低运行在Spark计算框架下的应用程序产生的能耗。

    一种基于能耗感知的Spark节能调度方法

    公开(公告)号:CN107704069A

    公开(公告)日:2018-02-16

    申请号:CN201710452338.4

    申请日:2017-06-15

    Abstract: 本发明公开了一种基于能耗感知的Spark节能调度方法。首先构建Spark计算框架下大数据计算能耗模型,基于该模型建立任务与计算资源的能耗和执行时间关系策略表,通过策略表指导并优化Spark任务调度,在保证并行计算效率的前提下有效降低计算总能耗。本发明解决了Spark原有调度策略无法感知能耗的缺陷,该方法具有能耗感知,动态优化调度和高可扩展的特点,有效降低运行在Spark计算框架下的应用程序产生的能耗。

Patent Agency Ranking