公开(公告)号：CN112015765A

公开(公告)日：2020-12-01

申请号：CN202010837412.6

申请日：2020-08-19

Applicant: 重庆邮电大学

Inventor： 熊安萍 ,  杨孟达 ,  田野 ,  龙林波 ,  蒋溢

IPC: G06F16/2455 ,  G06F16/2458

Abstract: 本发明涉及大数据计算领域，具体涉及一种基于缓存价值的Spark缓存淘汰方法及系统，包括：根据基于RDD信息的缓存价值模型得到每个RDD的初始缓存价值；利用改进的快速排序算法对RDD进行排序，得到RDD序列；依据初始缓存价值由高到低的顺序依次将RDD序列中RDD的计算结果存放到集群节点内存中；在任务动态执行过程中每个Stage结束时更新RDD信息；当节点内存不足时，利用基于Block信息的缓存价值模型计算已缓存Block的缓存价值；淘汰缓存价值小的Block释放内存空间。本发明将最具有缓存价值的RDD保存在内存中，及时清理不使用的Block，提升计算速度，减少RDD重算开销，优化内存资源利用率。

公开(公告)号：CN112015765B

公开(公告)日：2023-09-22

申请号：CN202010837412.6

申请日：2020-08-19

Applicant: 重庆邮电大学

Inventor： 熊安萍 ,  杨孟达 ,  田野 ,  龙林波 ,  蒋溢

IPC: G06F16/2455 ,  G06F16/2458

Abstract: 本发明涉及大数据计算领域，具体涉及一种基于缓存价值的Spark缓存淘汰方法及系统，包括：根据基于RDD信息的缓存价值模型得到每个RDD的初始缓存价值；利用改进的快速排序算法对RDD进行排序，得到RDD序列；依据初始缓存价值由高到低的顺序依次将RDD序列中RDD的计算结果存放到集群节点内存中；在任务动态执行过程中每个Stage结束时更新RDD信息；当节点内存不足时，利用基于Block信息的缓存价值模型计算已缓存Block的缓存价值；淘汰缓存价值小的Block释放内存空间。本发明将最具有缓存价值的RDD保存在内存中，及时清理不使用的Block，提升计算速度，减少RDD重算开销，优化内存资源利用率。