基于改进BL算法和遗传算法的Spark批量应用调度方法

    公开(公告)号:CN117909048A

    公开(公告)日:2024-04-19

    申请号:CN202410080510.8

    申请日:2024-01-19

    Applicant: 东北大学

    Abstract: 本发明提供基于改进BL算法和遗传算法的Spark批量应用调度方法,涉及互联网技术应用调度技术领域。该方法具体包括:利用Spark集群上已执行批量应用的应用运行指标构建应用执行时间预测模型,预测待执行批量应用的预测执行时间;对待执行批量应用进行编码,随机生成待执行批量应用的应用执行顺序并构建初始种群作为当前种群开始迭代:利用改进的BL算法计算待执行批量应用的总执行时间;再采用遗传算法对当前种群进行选择、交叉和变异,生成下一代种群作为当前种群并完成一次迭代;当迭代停止后,从所有迭代结果中选择与待执行批量应用中总执行时间最短的应用执行顺序作为待执行批量应用的调度顺序,有效地减少了批量应用的调度时间和等待时间。

Patent Agency Ranking