公开(公告)号：CN110955526A

公开(公告)日：2020-04-03

申请号：CN201911296432.0

申请日：2019-12-16

Applicant: 湖南大学

Inventor： 唐卓 ,  杜利凡 ,  李肯立 ,  贺凯林 ,  刘翔 ,  张学东 ,  阳王东 ,  周旭 ,  刘楚波 ,  曹嵘晖

IPC: G06F9/50

Abstract: 本发明公开了一种用于在分布式异构环境下实现多GPU调度的方法，其根据Java计算任务创建对应的GPU本地计算任务，并通过数据分块和任务分解，将GPU本地任务划分为更细粒度的GPU本地子任务，然后根据数据本地性以及从节点上所有GPU的流资源状态和内存资源状态将GPU本地子任务调度到指定GPU上执行，从而充分平衡各个GPU上的工作负载，降低Spark应用程序的执行时间。本发明能够解决现有分布式异构Spark处理框架中存在的吞吐量低、无法有效利用多个GPU、以及由于缺乏有效的GPU负载均衡策略导致的时间开销大的技术问题。