公开(公告)号：CN114816704B

公开(公告)日：2024-10-15

申请号：CN202210464762.1

申请日：2022-04-25

Applicant: 湖南大学

Inventor： 唐卓 ,  伍晨 ,  李肯立 ,  向婷 ,  李虹宇 ,  王啸 ,  罗文明 ,  程欣威

IPC: G06F9/48 ,  G06F9/50

Abstract: 本发明公开了一种基于异构资源的Spark任务调度方法，包括以下步骤：服务端基于Linux命令获取系统所需资源信息并提交到资源管理器以创建集群管理器并完成初始化，服务端接收客户端提交的任务作业，并将该任务作业提交到创建的集群管理器，以将任务作业转换为多个弹性分布式数据集RDD，对得到的所有RDD进行解析，以得到表征多个RDD之间依赖关系的RDD图，服务端根据RDD图中所有RDD之间的依赖关系生成调度阶段的DAG图，服务端将DAG图中的所有RDD按照其对应的依赖关系划分为第一任务阶段、第二任务阶段以及第三任务阶段。本发明能够从各方面解决性能优化问题并解决现有任务调度系统由于资源管理器仅限于收集CPU核数导致系统资源浪费的技术问题。

公开(公告)号：CN114816704A

公开(公告)日：2022-07-29

申请号：CN202210464762.1

申请日：2022-04-25

Applicant: 湖南大学

Inventor： 唐卓 ,  伍晨 ,  李肯立 ,  向婷 ,  李虹宇 ,  王啸 ,  罗文明 ,  程欣威

IPC: G06F9/48 ,  G06F9/50

Abstract: 本发明公开了一种基于异构资源的Spark任务调度方法，包括以下步骤：服务端基于Linux命令获取系统所需资源信息并提交到资源管理器以创建集群管理器并完成初始化，服务端接收客户端提交的任务作业，并将该任务作业提交到创建的集群管理器，以将任务作业转换为多个弹性分布式数据集RDD，对得到的所有RDD进行解析，以得到表征多个RDD之间依赖关系的RDD图，服务端根据RDD图中所有RDD之间的依赖关系生成调度阶段的DAG图，服务端将DAG图中的所有RDD按照其对应的依赖关系划分为第一任务阶段、第二任务阶段以及第三任务阶段。本发明能够从各方面解决性能优化问题并解决现有任务调度系统由于资源管理器仅限于收集CPU核数导致系统资源浪费的技术问题。