李汉波-字节跳动基于 KubeAdmiral 的多云分布式云原生实践之路

分布式云原生架构与实践

业务需求驱动分布式云架构建设

分布式云原生行业现状

• 多云多集群运维成本高：多云环境异构、资源管理差异；集群管理入口分散，缺乏统一运维方案；多集群孤岛，无法统一调度，集群利用率低；自建调度逻辑成本高。
• 集群规模及稳定性问题：单一集群规模受限；单一云厂商锁定，容灾难；跨云迁移困难；多云流量调度及集群故障迁移困难。

分布式云原生整体架构方案

• 多集群统一观测
• 跨集群调度策略
• 多集群配额管控
• 自动故障迁移

字节跳动基于KubeAdmiral的集群联邦技术实践

字节跳动云原生发展历程

• 以KubeFed (Federation v2)为基础的集群联邦
• KubeFed V2面临的问题：状态聚合能力差、调度能力弱、业务连续性差、接入难度高

超大规模集群联邦KubeAdmiral

• 兼容Kubernetes标准API及自定义CRD
• 调度器和调度算法可扩展，支持丰富调度策略
• 支持差异化覆写策略
• 支持接管用户单集群已有资源，无损迁移
• 提供状态采集框架，自定义采集字段
• 更强大的故障自动迁移能力
• 支持联邦HPA，可低成本接管单集群HPA

技术实践

• 降低接入难度：支持原生API和CRD，引入FederatedController
• 增强状态聚合能力：自定义采集字段，通过StatusAggregator汇聚status
• 提高调度扩展性：Global Scheduler支持丰富调度策略模板及自定义扩展调度器
• 动态调度：基于集群水位，所有member集群部署率维持在95%以上
• 重调度：避免业务中断，增加avoidDisruption= true策略

字节内场实践-流量协调、自动容灾

• 流量调度实现异常容器识别和规避
• 集群联邦实现异常容器迁移和重建

从集群联邦到分布式云原生多云多集群管理实践

字节跳动分布式云原生整体能力

• 统一集群管理
• 统一应用分发
• 统一集群观测
• 统一流量管理

分布式云原生平台实践架构

• 核心能力-多集群管理：提供分布式集群全局管理能力，降低运维成本
• 核心能力-集群连接模式：支持直连模式和代理模式接入
• 核心能力-注册节点：支持云上云下混合节点统一管理
• 核心能力-应用跨集群分发：实现统一资源池，高效分发应用
• 核心能力-多集群应用故障迁移：支持集群故障迁移和应用故障迁移
• 核心能力-单集群资源联邦化：无需改造应用即可实现多集群资源分发
• 核心能力-集群备份恢复迁移：支持单集群及跨集群容灾与迁移

客户案例-某银行客户

• 客户痛点：K8S集群运维成本高，希望应用跨集群容灾
• 解决方案：多云集群统一纳管、观测；联邦应用跨集群分发；容器应用数据备份恢复、迁移；API网关实现多集群服务发现、负载均衡、自动切流
• 客户价值：提高业务可用性、连续性；提高资源管理、运维效率；提高集群部署率、资源利用率

分布式云原生的下一阶段

未来演进方向

• 多云FinOps：GPU卡调度、成本/成功率调度、Argo workflow深入适配、Kubeflow/volcano等生态适配
• 在线应用：精准调度、使用率调度、联邦HPA、监控聚合、多集群故障诊断、应用拓扑

KubeAdmiral开源

• KubeAdmiral已开源，后续将吸取社区经验与反馈，不断更新和完善功能

高效运维社区DevOps时代