-
公开(公告)号:CN107704069B
公开(公告)日:2020-08-04
申请号:CN201710452338.4
申请日:2017-06-15
Applicant: 重庆邮电大学
Abstract: 本发明公开了一种基于能耗感知的Spark节能调度方法。首先构建Spark计算框架下大数据计算能耗模型,基于该模型建立任务与计算资源的能耗和执行时间关系策略表,通过策略表指导并优化Spark任务调度,在保证并行计算效率的前提下有效降低计算总能耗。本发明解决了Spark原有调度策略无法感知能耗的缺陷,该方法具有能耗感知,动态优化调度和高可扩展的特点,有效降低运行在Spark计算框架下的应用程序产生的能耗。
-
公开(公告)号:CN107704069A
公开(公告)日:2018-02-16
申请号:CN201710452338.4
申请日:2017-06-15
Applicant: 重庆邮电大学
Abstract: 本发明公开了一种基于能耗感知的Spark节能调度方法。首先构建Spark计算框架下大数据计算能耗模型,基于该模型建立任务与计算资源的能耗和执行时间关系策略表,通过策略表指导并优化Spark任务调度,在保证并行计算效率的前提下有效降低计算总能耗。本发明解决了Spark原有调度策略无法感知能耗的缺陷,该方法具有能耗感知,动态优化调度和高可扩展的特点,有效降低运行在Spark计算框架下的应用程序产生的能耗。
-