Kimi全球训推网络用云实践分享
Kimi业务发展历程
- 2023年：推出Kimi K2模型，在LMArena大模型公开竞技平台位列开源模型第一，总体排名第五。
- 2025年：深化AI业务系统中的网络特点，包括多业务混跑、TB级数据流动、高频大规模数据传输、多种业务类型（训练、推理、在线服务）及大规模GPU算力需求。
AI系统概览
- 数据准备阶段：依赖EIP、NAT、OSS、专线、PrivateLink等。
- 预训练阶段：GPU节点内NVLink互联，节点间RDMA通信，高性能存储。
- 模型部署阶段：镜像传输，模型传输，分布式推理，推理服务。
Kimi模型训推视角看网络架构设计
- 推理场景：PD分离架构，KV cache节点间同步，TTFT和TBT快速流动用户请求。
- 训练场景：海量数据集整合，多算力集群或地域间流量流转。
SRE视角下的网络规划指南
- 自建和用云的权衡：结合自建和云服务，实现成本与性能平衡。
Kimi跨地域训推网络建设
- 多产品融合：使用BGP、单线、IPv4/IPv6 EIP及共享带宽，构建高性价比公网交互出入口；引入PrivateLink，降低数据传输成本并保障安全。
- 算力和数据一张网：基于云企业网CEN、转发路由器TR、高速通道专线搭建异构、异地、混合云算力网络；端到端QoS和TR路由策略保障多业务有序调度；铜牌链路（训练）和金牌链路（推理）按需选择。
- 资源部署和提效：使用CADT实现自动化部署，提升大规模资源管理效率。
Kimi跨地域训推网络管理
- 多维度拓扑自动生成：局域网、广域网、Loadbalance拓扑资源与流量拓扑协同展示。
- 多维流量分析展示：公网、跨地域、跨VPC、混合云指标层层深入，支持一元组至五元组流量分析。
- 全局网络健康度实时评估：多维度自动分析资源、流量、拓扑、性能、quota；全局网络巡检提供风险告警和优化指导。
Kimi跨地域训推网络调优
- 主站入口弹性和容灾网络架构设计：
- 流量入口：混合云多集群容灾机制，容器化部署，多集群ACKOne平台统一纳管，ALB多集群网关流量分发。
- 公网入口：共享带宽包月95计费，所有公网ALB EIP接入共享带宽，保证突发弹性。
从大模型推理框架的发展趋势看网络架构变化
- Mooncake推理PD分离架构：网络架构需支持机头和机尾流量隔离，2024年已承载Kimi全部流量。
业务出海趋势下，网络架构应如何演进
- 场景1：AI应用入口调度合作共创：超长session会话保持和空闲超时时间，推理流量分发、身份鉴权、请求解析、Token限流。
- 场景2：AI模型代理入口合作共创：AILLMsproxy角色支持AI模型代理、流量调度、API-KEY管理、AI流量观测、Failover重试。
- 场景3：AI应用访问加速/tools调用加速：探索全球网络加速，支持AI应用对外服务和AI-Agent调用tools加速。
