产业深度01期：算力产业研究系列（一），算力时代，关注芯片、软件、网络

大模型时代来临，廉价的算力永远是稀缺品

• 大模型时代到来： 大模型是新时代的摩尔定律，智能能力每1-2年提升一代，模型成本快速下降，每18个月下降10倍以上。
• 算力需求突破式增长： 基于 Transformer 架构的大模型遵循规模效应（Scaling Law），算力需求增速远超传统模型和摩尔定律，算力缺口持续扩大。
• 算力基建不足： 目前算力基建不够，算法和数据等待算力基建，处于 AGI 大基建的早期阶段，AI 是供给驱动型市场。
• 未来市场前景广阔： 每年大厂 Capex 超千亿美元，全球国防开支约为 24000 亿美元，多模态模型将进一步解锁更多应用场景，期待 GPT-5 发布。

芯片、软件、网络共同构筑算力时代竞争优势

• GPU 发展历程： GPU 从图形加速器逐渐成长为通用加速器，经历了可编程、通用计算、CUDA 应运而生的阶段。
• 英伟达三大技术优势：
  • GPU/芯片优势明显： 英伟达打造综合 GPU，架构领先，硬件生态完善，芯片设计效率更高。
  • CUDA 生态迁移成本高： CUDA 生态建立巨大迁移成本，包括时间成本、开发成本和使用习惯成本。
  • 网络架构与互联结构更符合现阶段需求： 英伟达 NVLink+NV Switch 实现低延迟+高带宽+高内存，7 倍带宽+3 倍内存优势明显。
• 网络架构选择： 网络拓扑设计需考虑并行化方案，NVLink 适合张量并行，InfiniBand 性能最好，Spectrum-X 与 Tomahawk 5 性能相近，博通的以太网方案更具性价比。

未来软件能力与硬件加速迭代

• Tensor Core： 基于混合精度计算，打破内存限制，多元化数据处理格式，加速矩阵运算。
• Transformer Engine： 采用混合精度训练，支持多种数据格式，优化 Transformer 模型训练和推理性能。
• Transformer 模型关键技术： Embedding 将高维数据映射到低维流形，self-attention 确保输入 token 嵌入当前语境，FFN 对多头注意力输出进行进一步处理，多种技术确保模型稳健性和泛化能力。

风险提示

• 算力场景落地不及预期
• 政策变动
• 产品研发不及预期