一种基于大数据计算框架下的双层协调负载均衡调度方法及系统

    公开(公告)号:CN118779094A

    公开(公告)日:2024-10-15

    申请号:CN202410687454.4

    申请日:2024-05-30

    Abstract: 本发明涉及一种基于大数据计算框架下的双层协调负载均衡调度方法及系统,包括:计算集群负载的最大值和最小值,根据节点负载大小划分负载区域;判断并计算低负载区域和正常负载区域内所有节点的综合评价指标,得到TaskManager节点的调度优先级列表;遍历待调度的任务列表,选择需要分配资源的任务,选择调度优先级列表中优先级最高的节点,得到Slot的负载优先级列表,选择负载优先级列表中优先级最高的Slot放置任务;根据所选TaskManager节点在任务调度执行过程中的运行时数据更新所选TaskManager节点的负载信息;重复执行步骤S2‑S7对任务调度执行,本发明有效提升了Flink集群在异构云环境中任务调度执行时集群的负载均衡程度。

    一种Flink框架下基于SLA的节能调度方法及系统

    公开(公告)号:CN117608778A

    公开(公告)日:2024-02-27

    申请号:CN202311534167.1

    申请日:2023-11-17

    Abstract: 本发明涉及一种Flink框架下基于SLA的节能调度方法及系统,包括:根据能效优先级列表,遍历当前待调度任务集合,选择需要分配资源的任务;从高到底遍历能效优先级列表,选择TaskManager节点,判断所选TaskManager节点是否满足执行所选任务的资源条件,若是则将所选任务调度给所选TaskManager节点进行执行;根据所选TaskManager节点在任务调度执行过程中的运行时数据利用SLA能效模型更新所选TaskManager节点的能效信息;重复执行步骤S2‑S6对任务调度执行,本发明有效降低了Flink集群在异构云环境中任务调度执行产生的能耗。

Patent Agency Ranking