云边协同 AI 网络技术白皮书

一、云边协同AI发展趋势及挑战

• 算力发展趋势：异构算力并存、算力云及租赁、算力自建与租赁并存、分布式算力、算力云边协同。
• AI大模型及应用趋势：AI大模型快速发展，推理和智能体驱动算力需求增长，边缘算力成为中心算力的补充，形成云边协同的分布式算力基础设施。
• 边缘算力集群网络挑战：
  • AI大模型训练：超高带宽传输、超低时延及抖动、灵活组网、边缘算力分散、算力规模小、多业务融合。
  • AI大模型推理：低时延、大带宽传输、网络低成本、灵活可扩展、网络安全性、网络兼容性。
• 云边互联网络挑战：
  • AI大模型训练：云边数据高带宽传输压力、云边网络快速打通能力、云边互联网络的高可用、QoS差异化保障需求、云边通信安全及数据访问安全需求。
  • AI大模型推理：低时延推理响应需求、快速模型加载和实例部署需求、流量突发调度及高并发需求、模型参数和用户数据安全性需求。

二、云边协同AI业务及技术目标

• LLM云边协同AI发展阶段：阶段一（边缘算力对中心算力的快速补充）、阶段二（AI业务下沉的高集成边缘站点）、阶段三（云边端协同AI）。
• 业务QoE目标：LLM推理（TTFT<2s, TPOT<=50ms）、LLM训练（云边之间训练数据传输不能成为瓶颈）。
• 边缘算力集群技术目标：算力集群网络（延时<30ms、吞吐量<=100Gbps、安全SSL/TLS/IPSec）、LLM推理（PD分离、弹性扩缩容及调度）。
• 云边互联网络技术目标：高可用性、高安全性、差异化QoS保障、高性能转发。

三、云边协同AI网络关键技术

• 边缘算力集群前端网络关键技术：
  • 边缘算力集群管控：集中管控平台、健康监控、提前预警和排障。
  • 多租户支持和隔离：基于转发域隔离、交换机队列隔离、物理隔离。
  • 大容量NAT能力：提高并发连接数、高效端口复用、支持线速地址转换、支持大规模私网隔离。
  • 长距离RDMA技术：优化RDMA在长距离、高延迟、丢包场景下的性能瓶颈。
• 边缘算力集群后端网络关键技术：
  • 负载均衡：基于信元（Cell）或报文（Packet）的负载均衡。
  • HyperPort：链路负载均衡、自动检测、切换故障链路、报文保序。
  • 端到端调度：基于Credit的调度机制。
  • 无损网络无阻塞技术：网络端到端调度、大缓存、丰富的VoQ资源、负载均衡、HyperPort。
  • 异构组网：基于信元的负载均衡机制和基于Credit的网络调度机制消除了交换机对于端侧的依赖。
  • FastCNP：更快地感知拥塞并通知源端调整数据发送速率。
  • 网络可靠性：交换机硬件层的链路故障快速检测和恢复/切换、传统的双上联、周期性的链路、节点检测协议。
• 云边互联网络关键技术：
  • 云边互联高可用技术：设备高可靠、链路高可靠、隧道高可靠、接入点高可靠。
  • 云边互联高安全技术：数据传输安全、设备身份安全、访问控制和安全、攻击防御。
  • 云边差异化QoS保障技术：流量分类与标记、流量调度与队列管理、流量管制与整形、拥塞控制和管理、带宽预留与资源隔离。
  • 云边高性能转发技术：硬件加速、性能转发架构、会话管理、加解密优化。

四、总结与展望

• 总结：本白皮书分析了云边协同AI发展趋势、挑战、技术目标，并针对挑战和目标描述了边缘算力集群网络关键技术、云边协同网络关键技术。
• 展望：未来会持续研究高集成低功耗的边缘算力集群网络技术、AI云边协同、边边协同、云边端协同的网络技术、LLM分布式推理和LLM分布式训练关键技术、AI算力后端网络云边协同技术。