中金推理产业链深度报告：技术及测算

核心要点

• 报告分为技术篇与测算篇：技术篇梳理推理优化的四层技术架构，测算篇量化各技术的降本增益，为理解AI商业化提供前置模块。
• 推理优化技术架构：
  • 模型架构层：决定推理效率先天上限，含混合专家（MoE）、稀疏注意力、MLA/GQA等，可压缩计算量与K/V缓存。
  • 推理算法层：含量化、投机解码等，量化通过降低数据位宽减显存占用，投机解码可提升生成效率。
  • 推理引擎层：衔接模型与硬件，含K/V缓存管理、PD分离、多并行技术等，提升单位GPU产出。
  • 异构调度层：适配多硬件类型，含芯片适配、资源池化、副本放置等，提高硬件利用率。
• 测算核心结论：
  • 基准公式：每百万Token成本=GPU小时价格×换算系数÷（单卡理论吞吐×算法增益×引擎工程达成率×集群利用率）。
  • 分阶段降本：模型架构优化降本最高可达80%，算法优化降本约60%，引擎优化降本超80%，集群利用率提升至65%可降本近46%。
• 产业链参与者分析：
  • 模型厂商：可自研推理架构，需做Codesign协同设计，如DeepSeek、Kimi等通过架构优化提效。
  • 云厂商：公有云流量向头部集中，规模效应提硬件利用率；私有部署分散。
  • 第三方推理平台：如TogetherAI、硅基流动等，聚焦引擎优化，长期或向软硬协同延伸。
• 风险与关注：
  • 技术迭代快，特定模型/硬件的优化成果易贬值。
  • 产业链价值分配模式可能因收费方式变化而调整。
  • GPU成本、Token价格变化压缩中间环节毛利。
  • 量化、投机解码等效果受模型、任务、硬件约束。

推理优化技术架构

• 模型架构层：决定推理效率先天上限，含混合专家（MoE）、稀疏注意力、MLA/GQA等，可压缩计算量与K/V缓存。
• 推理算法层：含量化、投机解码等，量化通过降低数据位宽减显存占用，投机解码可提升生成效率。
• 推理引擎层：衔接模型与硬件，含K/V缓存管理、PD分离、多并行技术等，提升单位GPU产出。
• 异构调度层：适配多硬件类型，含芯片适配、资源池化、副本放置等，提高硬件利用率。

测算核心结论

• 基准公式：每百万Token成本=GPU小时价格×换算系数÷（单卡理论吞吐×算法增益×引擎工程达成率×集群利用率）。
• 分阶段降本：模型架构优化降本最高可达80%，算法优化降本约60%，引擎优化降本超80%，集群利用率提升至65%可降本近46%。

产业链参与者分析

• 模型厂商：可自研推理架构，需做Codesign协同设计，如DeepSeek、Kimi等通过架构优化提效。
• 云厂商：公有云流量向头部集中，规模效应提硬件利用率；私有部署分散。
• 第三方推理平台：如TogetherAI、硅基流动等，聚焦引擎优化，长期或向软硬协同延伸。

风险与关注

• 技术迭代快，特定模型/硬件的优化成果易贬值。
• 产业链价值分配模式可能因收费方式变化而调整。
• GPU成本、Token价格变化压缩中间环节毛利。
• 量化、投机解码等效果受模型、任务、硬件约束。