Skip to main content

发布公告 v0.8.0

这是 Apache YuniKorn (Incubating) 的第一个版本。

Overview

Apache YuniKorn (Incubating) 社区在此版本中修复了 60 个 JIRA:YuniKorn 在 0.8.0 中修复的 jira 问题

发布负责人: Weiwei Yang

发布日期: 2020-05-04

主要更新

队列和放置规则

使用这个新的动态队列管理功能,用户可以设置放置规则来委派队列管理。 这支持将 K8 命名空间映射到 YuniKorn 队列等用例,而无需预先创建所有队列。 当运行应用程序需要时,队列是根据放置规则创建的。不再需要时可以删除动态队列。

插件应用程序管理

此版本中添加了一个插件化的应用管理框架,通过此功能,YuniKorn 可以轻松地与第三方 K8s operator 集成,例如 Spark-k8s-operator、Flink-k8s-operator 等。

资源预留

预留是用于避免在批处理调度方案中大量/挑剔的资源请求被饿死的方法。

为来自应用程序的特定请求保留一个节点,从而有效地将其从其他应用程序的可用节点列表中删除。

节点排序策略插件

YuniKorn 中有2个关于资源分配的内置节点排序策略(FAIR 和 BinPacking)。

节点排序策略扩展为插件,用户可以实现自己的策略并将其使用在调度器内。

改进的调度性能

在 K8s 上运行大数据批处理工作负载(例如 Spark)时,调度程序的吞吐量成为主要关注点之一。 在 YuniKorn 中,有很多优化可以提高性能,例如完全异步事件驱动的系统和低延迟排序策略。

根据我们使用 Kubemark 进行的测试,YuniKorn 比默认的 K8s 调度程序快 2 倍以上。

社区

YuniKorn 项目自诞生之日起,就受到了好评。我们很感激拥有这样一个多元化的社区,我们有来自微软、LinkedIn、阿里巴巴、苹果、腾讯、英伟达和 Cloudera 的成员来帮助和指导项目的发展。 非常感谢为发布做出贡献的每个人,以及 Apache YuniKorn (Incubating) 社区中的每个人!

此版本是许多人直接和间接努力的结果。以下是通过提交补丁直接做出贡献的人:Adam Antal,Akhil Puthenveettil Balan,Bhuvan Mysore,Jetly Jaimin,Kinga Marton,Sunil Govindan,Tao Yang,Wangda Tan,Wanqiang Ji,Weiwei Yang,Wilfred Spiegelenburg,Vinod Kumar Vavilapalli。

感谢我们的导师 Felix Cheung、Holden Karau、Jason Lowe、Junping Du 帮助我们建立存储库、权限,并指导我们如何进行开发和以 Apache 方式进行发布。