-
公开(公告)号:CN116339941A
公开(公告)日:2023-06-27
申请号:CN202310181479.2
申请日:2023-02-20
Applicant: 中国科学院计算机网络信息中心
IPC: G06F9/48
Abstract: 本发明公开了一种面向数据处理工作流的跨集群流量优化调度方法及系统,可对跨集群运行的数据处理工作流进行作业优化调度的策略,通过对数据处理工作流进行瓶颈点分析,并在瓶颈点处进行跨集群的作业迁移;其主要步骤包括:构建数据处理工作流的分叉‑合并有向无循环图;对该图进行深度优先的后序遍历;在遍历过程中分析每个作业的瓶颈点及瓶颈流量,并在瓶颈点处确定该作业的执行集群。本发明可以减少数据流水线、容器工作流的跨集群数据流量。