发布公告 v0.11.0
我们非常高兴地宣布 Apache YuniKorn (Incubating) 社区已投票发布 0.11.0。Apache YuniKorn (Incubating) 是一个独立的资源调度器,旨在管理和调度容器编排框架(如 Kubernetes)上的大数据工作负载,支持本地和云端的用例。 此版本有几个 REST API、UI 可用性和联邦调度的改进。
概述
Apache YuniKorn (Incubating)社区在此版本中修复了 110 多个 JIRA 问题:YuniKorn 在 0.11.0 中解决的 jira 问题。
发布负责人: Kinga Marton
发布日期: 2021-08-18
主要更新
支持的 Kubernetes 版本
在此版本中,支持的 Kubernetes 版本已更新为 1.17.x、1.18.x 和 1.19.x。(早期版本支持 1.16.x、1.17.x 和 1.18.x)YuniKorn 支持矩阵主要支持 3 个主要的 Kubernetes 版本。
Gang scheduling 增强功能
社区已对 Gang scheduling 功能进行了进一步改进。Gang scheduling 模式 现在可以为每个应用程序配置,soft 或者 hard。这允许用户自定义如何处理预订超时的行为。还有许多增强功能可以改善占位 pod 的生命周期管理,使清理更加健壮和可靠。更多细节可以在 YUNIKORN-553 中找到。
Spark operator 集成
通过利用 YuniKorn 的应用管理框架,现在它可以更好地与 Spark operator 集成。YuniKorn 监听 spark 的 CRD 资源并在必要时做出反应。在 K8s 上使用 YuniKorn 和 Spark operator 是完全透明的,不需要额外的配置。此功能已准备好用于生产。更多细节可以在 YUNIKORN-558 中找到。
调度器指标增强
YuniKorn 通过 Prometheus 开放了核心的 调度指标,在这个版本中,一些重要的指标如 allocating_latency_seconds,long_pending_apps 被添加到系统中,这样集群管理员可以创建更多警报来监控系统健康状况。我们对现有指标(例如应用程序/队列)进行了更多增强,使其更具可读性和组织性。您可以在 YUNIKORN-3 中找到更多详细信息。
用户/组解析
通过在 YUNIKORN-649 中完成的工作,现在用户可以定义如何检索每个应用程序和 pod 的用户/组身份。这是通过可配置的环境变量 USER_LABEL_KEY 来完成的,因此用户可以指定 YuniKorn 将使用哪个标签来检索用户身份。该文档可以在 这里 找到。
Web UI 和 REST API 可用性增强
社区对 Web UI 进行了一些可用性改进,以提供更好的用户体验。UI 已被简化,借以在应用程序/节点页面中显示有用的数据,一些可用性错误也已得到修复。在此版本中,引入了一些新的 REST API ,使获取每个分区/队列信息成为可能。您可以在 此处 找到完整的接口列表。
社区
Apache YuniKorn 社区很高兴欢迎新的提交者 Manikandan R 和新的 PPMC 成员 Kinga Marton。我们希望看到更多的提交者加入社区并帮助塑造项目。在过去的几个月里,我们会继续在2个不同的时区举行两周一次的社区会议、临时会议、线下渠道讨论。我们的社区将继续开放给各位。