-
公开(公告)号：CN111274036B
公开(公告)日：2023-11-07
申请号：CN202010068852.X
申请日：2020-01-21
Applicant: 南京大学
Abstract: 本发明公开了一种基于速度预测的深度学习任务的调度方法，包括速度模型构建和任务调度两部分。速度模型构建部分是构建一个神经网络模型来预测每一个任务在集群中运行时处理图片的速度，包括训练阶段和预测阶段：训练阶段首先对每个任务进行profiling，即收集每个任务在集群中不同分布式配置下的训练速度，构造数据集；采集每个任务在集群中训练的特征，构建速度模型并使用前一步构造的数据集训练这个速度模型。预测阶段集成到任务调度部分。任务调度部分利用速度模型预测任务在不同配置下的训练速度，使用定制化的模拟退火算法来决定集群的资源分配，从而达到有效利用集群资源的目的。
-
公开(公告)号：CN111274036A
公开(公告)日：2020-06-12
申请号：CN202010068852.X
申请日：2020-01-21
Applicant: 南京大学
Abstract: 本发明公开了一种基于速度预测的深度学习任务的调度方法，包括速度模型构建和任务调度两部分。速度模型构建部分是构建一个神经网络模型来预测每一个任务在集群中运行时处理图片的速度，包括训练阶段和预测阶段：训练阶段首先对每个任务进行profiling，即收集每个任务在集群中不同分布式配置下的训练速度，构造数据集；采集每个任务在集群中训练的特征，构建速度模型并使用前一步构造的数据集训练这个速度模型。预测阶段集成到任务调度部分。任务调度部分利用速度模型预测任务在不同配置下的训练速度，使用定制化的模拟退火算法来决定集群的资源分配，从而达到有效利用集群资源的目的。
-
Search Results
2
records
(took 0.014 seconds)
