本文作者:访客

字节跳动开源云原生调度框架Godel-Rescheduler

访客 2025-04-21 16:21:24 81588
字节跳动开源云原生调度框架Godel-Rescheduler摘要: 4月18日消息,在云原生调度中,一次调度往往无法解决所有问题,需要配合重调度来优化资源分配和任务摆放。今日,字节跳动技术...
4月18日消息,在云原生调度中,一次调度往往无法解决所有问题,需要配合重调度来优化资源分配和任务摆放。今日,字节跳动技术团队宣布开源Godel-Rescheduler,号称是“适用于云原生系统的全局最优重调度框架”。据字节官方介绍,这是一个基于全局最优调度策略的重调度框架。它不仅能识别集群中的异常节点和任务,还能智能推荐任务到最合适的位置,并通过图算法生成详细的迁移步骤,确保集群的整体稳定性,真正实现全局最优调度。Godel-Rescheduler由两个核心模块组成:PolicyManager和MovementManager。其中,PolicyManager负责输出重调度决策,而MovementManager则负责拆解并执行这些决策。整个框架的目标是通过重调度,使集群朝向全局最优状态发展。
目前字节跳动已经成功将Godel-Rescheduler应用到多个内部项目中,支持多种重调度策略的协同工作。例如:

字节跳动开源云原生调度框架Godel-Rescheduler

    合并部署重调度:优化上下游应用实例在相同节点上的调度。负载均衡重调度:在负载、内存带宽、网络带宽等方面进行优化。碎片整理重调度:有效减少CPU、GPU等资源的碎片率等。
在实际应用中,Godel-Rescheduler已帮助字节跳动的数万卡GPU集群将碎片率控制在5%以下,同时在大规模混合部署集群中,热点节点比例控制在0.1%以下。附GodelReScheduler项目地址:
https://github.com/kubewharf/godel-rescheduler
阅读
分享