人工智能基础设施的实际成本：本地部署与云部署的总体拥有成本分析

研究背景与目的

随着人工智能（AI）从实验阶段转向试点项目，并最终成为组织基础设施的重要组成部分，如何构建AI基础设施成为关键问题。本报告旨在对比本地部署与云服务在AI基础设施成本上的差异，帮助组织决策。

研究模型与假设

报告构建了一个248-GPU的企业级AI集群模型，用于支持多个业务单位的持续训练工作。模型假设集群利用率80%，24/7运行，并采用高性能计算配置。对比了本地部署（Penguin Solutions OriginAI）与三大云平台（AWS、GCP、OCI）的成本，所有配置均基于公开价格，并假设三年承诺定价。

关键配置与成本

• 本地部署：基于Penguin Solutions提供的详细硬件配置和价格，包括31个GPU节点（每个节点8个NVIDIA B200 GPU）、高性能存储和网络，以及五年的平台支持和服务。总成本中硬件折旧占比最大。
• AWS：配置31个p6-b200.48xlarge实例，采用专用实例，并应用26.55%的折扣模拟承诺定价。存储使用Amazon FSx for Lustre，网络使用EFA。总成本三年约7150万美元，五年约1.19亿美元。
• GCP：配置31个A4-highgpu-8g实例，采用共享实例，并应用公开的三年承诺使用折扣。存储使用Google Managed Lustre，网络使用自定义网络。总成本三年约7800万美元，五年约1.3亿美元。
• OCI：配置31个GPU实例，采用共享实例，并应用15%的折扣模拟谈判价格。存储使用OCI Lustre，网络使用高性能RDMA网络。总成本三年约8300万美元，五年约1.4亿美元。

研究结论

• 成本差异显著：三年内，云服务成本平均比本地部署高出3.5倍以上，五年内差距进一步扩大。
• 经济模型分析：长期、稳定的AI需求更倾向于本地部署，而短期或波动性需求则更适合云服务。
• 关键影响因素：系统利用率和需求模式是决定是否采用本地或云服务的关键因素。利用率超过60%或需求持续稳定时，本地部署更具成本优势。

建议

组织在决定AI基础设施部署方式时，应综合考虑自身需求模式、系统利用率、以及长期成本效益，选择最合适的方案。