公开(公告)号：CN108614738B

公开(公告)日：2022-02-15

申请号：CN201810455119.6

申请日：2018-05-14

Applicant: 北京工业大学

Inventor： 梁毅 ,  程石帆 ,  常仕禄 ,  刘飞

IPC: G06F9/50

Abstract: 本发明公开了一种面向交互式Spark应用的数据动态放置方法，该方法分为五个步骤：初始化、缓存RDD分区价值评估、缓存RDD分区的保留选取、缓存RDD分区数据的重放置和结束。本发明针对Spark交互式应用在动态资源分配的背景下，RDD数据无法可靠放置的不足，在相邻交互请求间存在较长时间间隔时，依据任务执行器中缓存RDD分区的价值以及数据迁移的代价，利用粒子群算法进行缓存RDD分区数据的重放置，从而达到充分利用任务执行器的内存空间且提高交互式请求执行效率的目的。

公开(公告)号：CN108614738A

公开(公告)日：2018-10-02

申请号：CN201810455119.6

申请日：2018-05-14

Applicant: 北京工业大学

Inventor： 梁毅 ,  程石帆 ,  常仕禄 ,  刘飞

IPC: G06F9/50

Abstract: 本发明公开了一种面向交互式Spark应用的数据动态放置方法，该方法分为五个步骤：初始化、缓存RDD分区价值评估、缓存RDD分区的保留选取、缓存RDD分区数据的重放置和结束。本发明针对Spark交互式应用在动态资源分配的背景下，RDD数据无法可靠放置的不足，在相邻交互请求间存在较长时间间隔时，依据任务执行器中缓存RDD分区的价值以及数据迁移的代价，利用粒子群算法进行缓存RDD分区数据的重放置，从而达到充分利用任务执行器的内存空间且提高交互式请求执行效率的目的。