报告指出AI支出重心加速转向推理,专业化AI推理基础设施配置价值上升。智能体与多步工具调用拉长推理链路,算力需求重心由训练侧转向推理侧。OpenRouter周Token处理量半年内由约5万亿升至约25万亿,全球Agent相关年度Token消耗量预计2030年达约15.3万PetaTokens,CAGR约3418%。单位推理价格持续下行,用量扩张推动企业总推理支出上升。跨模型调度、高性能推理与异构算力编排等中间层能力成为支撑规模化落地的关键基础设施。
AI推理基础设施赛道呈现快速发展趋势。Token消耗加速放量,推理侧算力需求显著增长。海外AI中间层商业模式分化,头部推理云如OpenRouter、Fireworks、Together AI、Baseten等已验证十亿级规模商业模式。国内独立生态Token供应商如硅基流动等快速发展,市场渗透率提升。开源模型替代需求持续爆发,推动中间层平台流量与收入高增。未来五年基础设施规模预计增长约50倍,市场潜力巨大。
报告重点分析了海外AI中间层三类商业模式:路由网关(如OpenRouter)、推理云(如Fireworks、Together AI)与全栈部署(如Baseten)。OpenRouter通过多模型聚合与统一API,以纯软件路由构建网络效应,年化收入约0.5亿美元,B轮投后估值约13亿美元。Fireworks基于自研推理引擎,提供高速推理与定制平台,ARR已入十亿美金俱乐部,毛利率约50%,D轮投后估值达175亿美元。Together AI定位全栈AI原生云平台,聚合200+多模态开源模型,年化订单额约11.5亿美元,C轮融资8亿美元,投后估值83亿美元。Baseten提供全栈MLOps,支持深度定制与灵活部署,营收与推理量高速增长,累计融资总额超20亿美元,估值跃升至110–130亿美元。
当前AI推理基础设施市场呈现快速发展与分化态势。海外市场头部玩家已形成较清晰的商业模式分层,市场集中度较高。国内市场独立生态Token供应商快速发展,如硅基流动在中国全市场约排名第四、市占约1.5%,在独立生态供应商中排名第一。行业侧,国内词元市场2024-2025年吞吐量增速1603%,预计2025-2030年CAGR 638%。企业开源模型替代需求持续爆发,推动中间层平台流量与收入高增。市场竞争激烈,技术迭代加速,头部效应明显。
报告提示大模型中间层商业化面临多重风险。商业化与持续经营风险方面,市场竞争加剧可能导致价格战,影响盈利能力。竞争与生态挤压风险方面,大型云厂商可能通过自建能力挤压独立服务商生存空间。算力成本与利润率风险方面,算力成本持续上涨可能压缩服务商利润空间。客户集中与需求波动风险方面,大客户集中度较高可能影响收入稳定性。技术迭代与产品替代风险方面,新技术可能颠覆现有商业模式。合规与数据安全风险方面,数据隐私与安全合规要求日益严格,服务商需加强合规建设。