公开(公告)号：CN108628682B

公开(公告)日：2021-09-24

申请号：CN201810346476.9

申请日：2018-04-17

Applicant: 西南交通大学

Inventor： 滕飞 ,  宁尚明 ,  李天瑞 ,  杜圣东

IPC: G06F9/50 ,  G06Q10/04

Abstract: 本发明公开了一种基于数据持久化的Spark平台成本优化方法，包括构建基准成本率模型，构建目标应用程序的Attention‑DAG图即注意力‑有向无环图，结合Spark Checkpoint特性构建成本优化方案，根据成本优化方案对目标应用程序进行同环境配置下的执行等步骤。本发明的积极效果是：(1)提出一种广义分布式云计算环境下的基准成本率模型。对于具有不同工作特点的分布式计算框架来说，该基准成本率模型能够为评价优化算法的效果提供一种统一量纲的量化指标。(2)提出了一种基于数据持久化的Spark平台成本优化方法。该方法可作为一种成本优化的方法论，能够广泛用于任意具有持久化机制的系统或框架中，其核心思想是寻求计算成本与存储成本的平衡。

公开(公告)号：CN108628682A

公开(公告)日：2018-10-09

申请号：CN201810346476.9

申请日：2018-04-17

Applicant: 西南交通大学

Inventor： 滕飞 ,  宁尚明 ,  李天瑞 ,  杜圣东

IPC: G06F9/50 ,  G06Q10/04

Abstract: 本发明公开了一种基于数据持久化的Spark平台成本优化方法，包括构建基准成本率模型，构建目标应用程序的Attention-DAG图即注意力-有向无环图，结合Spark Checkpoint特性构建成本优化方案，根据成本优化方案对目标应用程序进行同环境配置下的执行等步骤。本发明的积极效果是：(1)提出一种广义分布式云计算环境下的基准成本率模型。对于具有不同工作特点的分布式计算框架来说，该基准成本率模型能够为评价优化算法的效果提供一种统一量纲的量化指标。(2)提出了一种基于数据持久化的Spark平台成本优化方法。该方法可作为一种成本优化的方法论，能够广泛用于任意具有持久化机制的系统或框架中，其核心思想是寻求计算成本与存储成本的平衡。