AI 驱动网络基础设施发展
AI 基础设施需求持续增长,企业开始将大型语言模型 (LLMs) 应用于特定业务需求。这需要混合基础设施来支持 LLM 训练和专门的模型,包括小型语言模型 (SLMs)。
AI 推理需求推动网络架构变化。 AI 推理,即应用程序通过 AI 模型处理输入和输出,将分布在云和企业基础设施中。随着模型的发展,需要更多推理基础设施来解释和在不同的设备和基础设施上提供结果,从数据中心到边缘。
以太网取代 infiniband。 转移对 NVIDIA 专有 infiniband 网络技术的依赖已取得显著成果,以太网解决方案的采用被广泛认为是关键。超以太网联盟 (UEC) 致力于制定改进以太网缺陷和 RDMA 限制的标准。
速度不断提升。 大多数 AI 数据中心交换机支持 400-Gb/s 的速度,800-Gb/s 的速度正在成为趋势,更高速度也在开发中。
光网络是 AI 的未来。 随着 AI 网络规模、速度和功耗需求的增长,光组件将提供解决方案,节省功耗、空间和运营成本。
AI 专用处理器日益重要。 智能网卡 (SmartNICs)、IPUs 和 DPUs 等专用处理器在 AI 基础设施中变得越来越重要。这些由专用芯片供电的网卡是启用 AI 网络网络、安全和存储功能高性能的关键。
SASE、SD-WAN 和网络即服务 (NaaS) 将支持 AI 网络发展。 AI 将数据流量增加数个数量级,但需要分布式网络基础设施来连接这些资源并提供企业控制和合规性。SASE、SD-WAN 和 NaaS 正在演变为支持 AI 网络并具有更广泛的安全功能。
可观察性和 AIOps 对 AI 网络投资回报率 (ROI) 至关重要。 跟踪、分析和自动化网络效率的能力对企业采用 AI 网络至关重要。
数据中心互连 (DCI) 和机架级互连趋势。 光纤是 DCI 的规则。Ciena、Nokia 和 Equinix 等公司在该领域具有创新。PCIe 和 CXL 等技术正在改进机架级互连。
NVLink 和其竞争对手。 连接 GPU 和 CPU 需要高速连接,NVIDIA 的 NVLink 是目前 HPC 机架的主要连接选择。AMD 和 UALink 联盟正在开发开放源代码的 NVLink 替代方案。
边缘 AI 对推理和安全的影响。 RAG 和 SLMs 在边缘实施推理的需求日益清晰。SD-WAN、SASE 和 NaaS 正在适应 AI,提供分布式网络安全。MCN 和混合网络将成为焦点。边缘编排对于高效 AI 推理至关重要。CDN 提供商也在适应 AI 基础设施和服务。