Skip to main content

发布公告 v0.10.0

我们非常高兴地宣布 Apache YuniKorn (Incubating) 社区已投票发布 0.10.0。Apache YuniKorn (Incubating) 是一个独立的资源调度器,旨在管理和调度容器编排框架上的大数据工作负载,支持本地和云端的用例。

此版本中添加的显著功能是 Gang Scheduling,YuniKorn 现在可以在 Kubernetes 上运行应用程序时提供 gang scheduling 调度功能。除此之外,此版本还包括各种错误修复和改进。

概述

Apache YuniKorn (Incubating) 社区在此版本中修复了 187 个 JIRA 问题:YuniKorn 在 0.10.0 中解决的 jira 问题

发布负责人: Tao Yang

发布时间: 2021-04-09

主要更新

支持的 Kubernetes 版本

从此版本开始,支持的 Kubernetes 版本已更新为 1.16.x、1.17.x 和 1.18.x。(早期版本支持 1.13.x、1.14.x 和 1.15.x)YuniKorn 支持矩阵主要支持 3 个主要的 Kubernetes 版本。

Gang Scheduling

在这个版本中,YuniKorn 开始支持 Gang Scheduling。用户可以将 Gang Scheduling 应用于需要 gang scheduling 语义的应用,如 Spark、Tensorflow、Pytorch 等。YuniKorn 主动为 gang scheduling 应用预留资源,它与 cluster-autoscaler 配合使用更高效。初始的支持已经在 Spark 上进行了很好的测试,它可以与 K8s 上的原生 Spark 或 Spark K8s operator 一起使用。有关如何启用和使用 Gang Scheduling 的更多信息,请阅读 此处 的文档。

简化调度器核心中的逻辑

社区对调度程序核心进行了重大的代码重构,可以在 YUNIKORN-317 内进行跟踪。这种重构将缓存和调度器模块合二为一,消除了代码中的大量复杂性,提高了核心调度逻辑的效率。因此,它更易于阅读并减轻了维护工作。

应用程序跟踪 API 和 CRD 第一阶段

此版本引入了应用程序跟踪 API 和 K8s 自定义资源定义 (CRD),借以进一步改善用户体验。应用程序 operator/作业服务器将使用 CRD 与 YuniKorn 交互,以提供更好的应用程序生命周期管理。第一阶段定义了通用协议消息和 CRD 对象格式。

Web UI 翻新

社区对 Web UI 进行了一些可用性改进,包括重新设计的 Web UI 布局、调整外观以提供更好的用户体验、修复错误等。

社区

Apache YuniKorn 社区很高兴欢迎新的 committer Julia Kinga Marton 和 Tingyao Huang。我们希望看到更多的提交者加入社区并帮助塑造项目。在过去的几个月里,我们会继续在2个不同的时区举行两周一次的社区会议、临时会议、线下渠道讨论。我们的社区将继续开放给各位。