-
公开(公告)号:CN117851004A
公开(公告)日:2024-04-09
申请号:CN202311809153.6
申请日:2023-12-26
Applicant: 北京航天自动控制研究所
IPC: G06F9/48 , G06F9/50 , G06N3/0985 , G06N3/084
Abstract: 一种基于元强化学习的机器学习作业调度方法及系统,包括:基于强化学习算法框架,对机器学习集群中数据并行的机器学习作业调度问题进行建模,确定强化学习算法框架中的状态、动作以及奖励;基于构建的模型,对调度框架部件进行定义;所述调度框架部件包括环境、调度器、性能监视器和性能模型;使用集群离线数据对不同超参数设定下的调度器和性能模型进行训练,并选出使调度器和性能模型收敛最快的最优超参数组合;使用元强化学习方法对待调度作业进行在线调度,并在调度的同时,基于所述最优超参数组合对调度器和性能模型进行在线训练,直至调度任务完成。