公开(公告)号：CN110955526B

公开(公告)日：2022-10-21

申请号：CN201911296432.0

申请日：2019-12-16

Applicant: 湖南大学

Inventor： 李肯立 ,  杜利凡 ,  唐卓 ,  贺凯林 ,  刘翔 ,  张学东 ,  阳王东 ,  周旭 ,  刘楚波 ,  曹嵘晖

IPC: G06F9/50

Abstract: 本发明公开了一种用于在分布式异构环境下实现多GPU调度的方法，其根据Java计算任务创建对应的GPU本地计算任务，并通过数据分块和任务分解，将GPU本地任务划分为更细粒度的GPU本地子任务，然后根据数据本地性以及从节点上所有GPU的流资源状态和内存资源状态将GPU本地子任务调度到指定GPU上执行，从而充分平衡各个GPU上的工作负载，降低Spark应用程序的执行时间。本发明能够解决现有分布式异构Spark处理框架中存在的吞吐量低、无法有效利用多个GPU、以及由于缺乏有效的GPU负载均衡策略导致的时间开销大的技术问题。

公开(公告)号：CN111061565B

公开(公告)日：2023-08-25

申请号：CN201911292796.1

申请日：2019-12-12

Applicant: 湖南大学

Inventor： 李肯立 ,  贺凯林 ,  唐卓 ,  刘翔 ,  杜利凡 ,  李文 ,  张学东 ,  阳王东 ,  周旭 ,  刘楚波 ,  曹嵘晖

IPC: G06F9/50 ,  G06F16/27

Abstract: 本发明公开了一种Spark环境下的两段式流水线任务调度方法及系统。所述方法包括以下阶段：网络空闲阶段任务调度，该阶段为共生任务及等待任务分配CPU资源，当正在运行的任务有共生任务时，在其执行完成后，将其占用的CPU资源分配给其共生任务；否则，在其执行完成后，按照Spark环境优先级的调度将其占用的CPU资源分配给相应等待任务；网络需求阶段任务调度，该阶段为正在运行的任务匹配数据拉取时间大于其剩余完成时间的等待任务作为共生任务，并对共生任务进行调度。所述系统，其包括网络空闲阶段任务调度模块和网络需求阶段任务调度模块。本发明实现流水线作业，能够实现提高CPU资源及网络资源利用率、从而有效地减少了资源的空闲时间和job的完成时间。

公开(公告)号：CN110955526A

公开(公告)日：2020-04-03

申请号：CN201911296432.0

申请日：2019-12-16

Applicant: 湖南大学

Inventor： 唐卓 ,  杜利凡 ,  李肯立 ,  贺凯林 ,  刘翔 ,  张学东 ,  阳王东 ,  周旭 ,  刘楚波 ,  曹嵘晖

IPC: G06F9/50

Abstract: 本发明公开了一种用于在分布式异构环境下实现多GPU调度的方法，其根据Java计算任务创建对应的GPU本地计算任务，并通过数据分块和任务分解，将GPU本地任务划分为更细粒度的GPU本地子任务，然后根据数据本地性以及从节点上所有GPU的流资源状态和内存资源状态将GPU本地子任务调度到指定GPU上执行，从而充分平衡各个GPU上的工作负载，降低Spark应用程序的执行时间。本发明能够解决现有分布式异构Spark处理框架中存在的吞吐量低、无法有效利用多个GPU、以及由于缺乏有效的GPU负载均衡策略导致的时间开销大的技术问题。

公开(公告)号：CN110955732A

公开(公告)日：2020-04-03

申请号：CN201911294970.6

申请日：2019-12-16

Applicant: 湖南大学

Inventor： 唐卓 ,  刘翔 ,  李肯立 ,  杜利凡 ,  贺凯林 ,  李文 ,  张学东 ,  阳王东 ,  周旭 ,  刘楚波 ,  曹嵘晖

IPC: G06F16/27 ,  G06F16/22

Abstract: 本发明公开了一种用于在Spark环境中实现分区负载均衡的方法，包括：接收用户发送的Spark应用程序，对该Spark应用程序进行解析，以得到表征多个弹性分布式数据集RDD之间关系的RDD图、以及调度阶段的有向无环图DAG，根据DAG图依次确定每两个相邻调度阶段之间的依赖关系，并对得到的所有依赖关系中的宽依赖关系进行编号，设置计数器cnt＝1，判断cnt是否大于宽依赖关系的总数，如果不是则对第cnt个宽依赖关系对应的Map端中最后一个RDD中的所有分区中的数据进行采样，以得到表征数据键分布的、每个分区对应的哈希表，将得到的所有分区对应的哈希表进行合并。本发明能够在解决大数据计算中数据倾斜问题的同时，优化计算资源的分配，缩短程序运行时间。

公开(公告)号：CN110955732B

公开(公告)日：2020-12-01

申请号：CN201911294970.6

申请日：2019-12-16

Applicant: 湖南大学

Inventor： 唐卓 ,  刘翔 ,  李肯立 ,  杜利凡 ,  贺凯林 ,  李文 ,  张学东 ,  阳王东 ,  周旭 ,  刘楚波 ,  曹嵘晖

IPC: G06F16/27 ,  G06F16/22

Abstract: 本发明公开了一种用于在Spark环境中实现分区负载均衡的方法，包括：接收用户发送的Spark应用程序，对该Spark应用程序进行解析，以得到表征多个弹性分布式数据集RDD之间关系的RDD图、以及调度阶段的有向无环图DAG，根据DAG图依次确定每两个相邻调度阶段之间的依赖关系，并对得到的所有依赖关系中的宽依赖关系进行编号，设置计数器cnt＝1，判断cnt是否大于宽依赖关系的总数，如果不是则对第cnt个宽依赖关系对应的Map端中最后一个RDD中的所有分区中的数据进行采样，以得到表征数据键分布的、每个分区对应的哈希表，将得到的所有分区对应的哈希表进行合并。本发明能够在解决大数据计算中数据倾斜问题的同时，优化计算资源的分配，缩短程序运行时间。

公开(公告)号：CN111061565A

公开(公告)日：2020-04-24

申请号：CN201911292796.1

申请日：2019-12-12

Applicant: 湖南大学

Inventor： 唐卓 ,  贺凯林 ,  李肯立 ,  刘翔 ,  杜利凡 ,  李文 ,  张学东 ,  阳王东 ,  周旭 ,  刘楚波 ,  曹嵘晖

IPC: G06F9/50 ,  G06F16/27

Abstract: 本发明公开了一种Spark环境下的两段式流水线任务调度方法及系统。所述方法包括以下阶段：网络空闲阶段任务调度，该阶段为共生任务及等待任务分配CPU资源，当正在运行的任务有共生任务时，在其执行完成后，将其占用的CPU资源分配给其共生任务；否则，在其执行完成后，按照Spark环境优先级的调度将其占用的CPU资源分配给相应等待任务；网络需求阶段任务调度，该阶段为正在运行的任务匹配数据拉取时间大于其剩余完成时间的等待任务作为共生任务，并对共生任务进行调度。所述系统，其包括网络空闲阶段任务调度模块和网络需求阶段任务调度模块。本发明实现流水线作业，能够实现提高CPU资源及网络资源利用率、从而有效地减少了资源的空闲时间和job的完成时间。