2024年大模型落地与前沿趋势研究报告

⼤模型市场落地概况： ⼤模型业务模式概览 ⼤模型市场宏观和落地分布 模型服务：数据准备和模型训练是模型服务的关键内容，对交付服务的深度和细致程度有较⾼要求，是国内市场目前最重要的商业模式 模型API：国内各厂商模型能⼒没有明显差异化，API市场的低价竞争阶段将长期持续，整体用量正在快速增加但难以贡献营收 应用搭建平台：旨在释放⼤模型的应用潜⼒，但目前的产品形态尚未获得市场验证，用户规模依然较小，未来1-2年将更加成熟覆盖更多用户 国内⼤模型市场结构：以B、G端客户为绝对主⼒的市场结构在短期不会改变，但长期随技术进步和⾏业发展，市场化需求的份额将逐渐增加 ⼤模型部署⽅式：云上部署是目前⼤模型最普遍的部署⽅式，成本和运维复杂性相对较低，尤其受中小型客户欢迎，上云趋势未来仍将持续 ⼤模型市场⾏业分布情况1：⼤模型项目在教科、通信、能源、政府、⾦融等⾏业落地较多，全⾏业在今年第⼆、三季度增长明显 •从数量上看，教科类、通信（运营商）、能源、政务、⾦融是目前公开披露落地项目最多的⾏业，在今年第⼆、第三季度落地项目数量出现了明显增长 •从⾦额上来看，政务、能源、通信（运营商）、教科类，⾦融是项目落地总成交⾦额最⼤的⾏业，其中政务和能源的单项目⾦额较⼤，其他⾏业在第三季度出现快速增长 ⼤模型市场地域分布情况1：⼤模型项目在⼀线城市和沿海省份落地较多，⼤规模项目主要集中在北京，其他地区今年第⼆、三季度增长明显 •从⾦额上来看，落地项目⾼度集中在北京，头部⼤客户数量较多，尤其政策驱动类的政务客户在北京较为密集。北京落地节奏最快，其他地区主要在第⼆、三季度增长明显 •从数量上看，北京、⼴东（深圳）、上海、浙江、江苏等地⼤模型的落地数量最多，⾼度集中在经济发达⼀线城市•第⼆、第三季度落地数量⼤幅增加，有明显增长趋势 ⼤模型落地与前沿发展趋势： ⼤模型落地逻辑：模型能⼒是关键要素，现有模型已经可以实现多⾏业的⼴泛覆盖，但进⼀步深度整合需要模型能⼒⼤幅提升 ⼤模型落地逻辑：模型能⼒决定落地应用形态、商业模式以及定价权，2025年将会实现下⼀个阶段性跨越，解锁更多应用空间 ⼤模型落地逻辑：模型能⼒提升需要⼤量资源支撑技术突破，进⽽自底向上打开市场，国内玩家需要积极追赶海外领先实践 ⼤模型落地逻辑：多个技术⽅向驱动模型能⼒提升，推动应用深度和应用⼴度增加，长期将向自动化系统演进 模型能⼒-预训练：由于硬件资源和数据的限制，资源投⼊的边际提升已经放缓，但仍是驱动模型能⼒提升的核⼼因素之⼀，领军玩家积极投⼊ •⼤模型参数规模提升速度已经放缓，GPT-4采用了MoE架构，并不是⼀个稠密模型（DenseModel），下⼀代模型在参数规模上可能增加3-5倍•目前模型规模增加的主要限制因素在硬件层面，模型参数过⼤对于GPU训练集群的内存要求和通信要求极⾼，物理基础设施能⼒的提升比软件更慢 •预训练阶段的ScalingLaw主要指模型能⼒随着模型参数规模、训练数据、计算量的增加不断提升，是目前GPT范式中成本最⾼的训练阶段（99%1的计算在预训练）•Scalinglaw依然是⼤模型发展的核⼼驱动因素，是模型厂商需要持续探索研发的重要领域，下⼀阶段的预训练投⼊巨⼤ 2024年领军玩家扩建更⼤规模的数据中⼼，为未来⼤模型继续增加规模积极准备 我们目前没有发现基于Transformer的模型在规模扩展上遇到瓶颈，我们将会持续扩⼤规模（scaleup），建造更多的计算集群、⽣成更多的合成数据来训练模型，我认为规模扩展将仍然持续⼀段时间，基础设施⽅面投⼊将达到上千亿美元。“” 我们在扩⼤规模的同时没有看到边际收益的递减，但每隔⼏年才能对Scalinglaw进⾏⼀次采样，因为建造超级计算机和在其上训练模型都需要⼀段时间。“” ---Mark Zuckerberg（CEO，Meta） ---KevinScott（CTO，微软） 模型能⼒-后训练：强化学习成为后训练阶段的关键技术，相比预训练技术路径尚未收敛，需要⾼质量数据带来边际提升 o1路径 •以强化学习为核⼼的后训练Scalinglaw已经出现，⼤规模强化学习算法可以教会模型如何在数据⾼效的训练过程有效思考•随着强化学习的训练算⼒增加，o1类推理模型的性能会持续提⾼ •技术未收敛：强化学习的技术难度比较⾼，GPT系列的技术扩散相对比较充分，但强化学习相关技术并未收敛，没有清晰的范式，⾏业经验集中在OpenAI、Anthropic、Google等头部玩家，追赶难度较⼤•数据要求⾼：关注⾼质量的增量边际数据，对数据质量的要求比GPT系列更⾼，模型训练可能需要⼤量⼈⼯标注的详尽推理数据（例如领域专家、⾼级科研⼈员等），标注难度⼤、耗时长、成本⾼，此外可能需要⼤量的合成数据来进⾏训练•算⼒需求⾼：o1的算⼒需求超过万卡H100，未来强化学习部分的算⼒占比和需求量可能更⾼ 模型能⼒-推理：o1标志着深度推理范式⾛向台前，推理侧的资源需求正在快速增加，可以⾼效提升模型能⼒，未来空间⼴阔 •随着推理算⼒（Test-timecompute）的增加，模型可以思考更长的时间，⽣成更多的CoT（Chain-of-Thoughts）数据，从⽽进⾏复杂问题的拆解和推理，得到更好的推理效果，思考时间越长，效果越好•目前o1在数学、代码类问题上的表现尤其突出 •随着⼤模型应用范围和深度增加，GPT系列模型的推理市场需求在迅速增长•类似o1的需推理模型将进⼀步刺激已经在快速增长的推理市场，系统2思考1、合成数据需求将带来更多推理求 •推理Scalinglaw开始泛化：增加推理时间获得性能提升已经在AlphaGo、AlphaGeometry等专注于解决特定问题的模型上获得验证（模型推理的时间越长表现越好），现在这⼀特性正在泛化到更通用的推理场景 •价格贵用量⼤：推理模型在Token消耗量（包括用于隐藏思维链的Token）和单位Token价格上都远⾼于基础的GPT模型 •综合的使用成本会相比GPT-4o会⾼⼀个数量级，主要用于⾼价值、同时对低延迟敏感度低的场景 模型技术趋势：o1模型代表的新范式对技术创新能⼒、⼯程能⼒和算⼒资源有更⾼要求，并驱动算⼒分布向后训练和推理加码 模型技术趋势：o1模型代表的深度推理模型、推理算⼒（Test-timecompute）开辟了新的模型发展路径，将与GPT系列并⾏发展、相互促进 模型技术趋势：⼤模型的扩展规模（Scaleup）和精简优化（Scaledown）将同步进⾏，小模型将更快更便宜，但仍需训练⼤型模型作为基础 关键分析 •规模扩展：主要是继续扩⼤模型参数规模，训练数据规模，以及有充⾜的算⼒来完成训练，模型的规模扩展（scaleup）依然是发展主线•精简优化：目前主流⽅式包括：•1）蒸馏：用⼤模型⽣产的⾼质量数据对小模型进⾏训练，用数据质量弥补模型规模的不⾜，可以取得稍逊于⼤模型的表现，未来蒸馏可能成为下⼀代模型的预训练前置过程•2）量化：降低模型参数的数值精度（例如从FP8到FP4），降低对于硬件显存和通信带宽的需求，推⼒更快成本更低，•3）剪枝：对于神经⽹络中权重值接近于0的参数进⾏删减，让模型更加紧凑⾼效，•4）架构创新及其他技术 模型应用趋势：随着模型能⼒提升，基于结果、价值创造的商业模式将逐渐涌现，但目前仅限于少量场景 模型应用趋势：不同类型应用对于模型的需求各异，模型API和模型服务在未来将出现更多垂直优化⽅向以满⾜不同类型应用需求 开源模型：主要由促进自有业务和模型业务B端获客驱动，将长期存在并促进⽣态发展、刺激下游应用构建 关键分析 开源模型：2025年训练成本10亿美元级的开源模型（MetaLlama4）将公开可用，促进基于开源模型的⼤模型市场发展 模型能⼒ Meta开源策略分析 基因禀赋 •缺乏技术领先度：Meta在⼤模型上目前尚未进⼊海外第⼀梯队，通过闭源卖API的商业化路径没有竞争优势，保持闭源策略相较OpenAI、Anthropic及⾕歌没有竞争优势 竞争态势 ⼤模型竞争趋势与玩家格局： ⼤模型竞争特点：互联⽹时代成功应用的核⼼要素不再适用，⼤模型业务模式没有清晰的护城河，模型厂商需要持续投⼊竞争 关键分析 ⼤模型竞争特点：从领军玩家来看，通用基础模型的发展模式对资源投⼊要求⾼、周期长，需要极强的资源背景支撑长期发展 基础模型厂商目前普遍处于早期亏损状态 基础模型厂商投⼊周期长，亏损⼤ •基础模型厂商的商业模式更类似制药、光伏等⾏业，对于资本的投⼊周期有较⾼要求，早期的商业模式可能在数年内都⽆法产⽣利润，甚⾄会出现亏损逐年增加的情况 •目前所有模型厂商都处于亏损阶段•模型的训练、推理、和模型预研是目前最⼤的成本项 ⼤模型竞争特点：模型能⼒领先程度决定市场份额，因此模型厂商需要进⾏持续投⼊，以保证产品用量和营收增长 模型能⼒ •由于模型能⼒差距的缩小，已经可以看到追赶者Anthropic在相对营收份额上的增长 •虽然目前总营收和OpenAI差距较⼤（24年营收约为OpenAI的四分之⼀），但Anthropic在过去⼀年就营收增长⽽⾔要比OpenAI更快 API市场份额变化对于模型能⼒变化尤其敏感 •由于API用户主要是各类开发者和B端用户，API营收的变化可以更准确地反映市场整体上对于模型能⼒的评估 •从API角度看，当追赶者模型能⼒接近头部⽔平时，营收规模差异会随着模型能⼒差异的缩小⽽收敛，Anthropic在过去⼀年API业务上的营收增速远超OpenAI ⼤模型竞争趋势：从成功要素上看，模型能⼒>⽣态能⼒>渠道能⼒，总体上云厂商/互联⽹公司优势全面，通用模型未来格局将持续向其集中 ⼤模型竞争趋势：通用基础模型领域竞争激烈，将驱动部分模型厂商向针对垂直场景的模型服务和产品进⾏转型，⼤厂将持续押注通用类产品 ⼤模型竞争趋势：由于模型、产品能⼒维度多样，模型厂商难以在所有维度达到最佳⽔准，细分差异化是国内模型厂商的未来⽅向 模型厂商概览-国内：⼤厂模型业务将结合自身场景推动闭环，并持续投⼊，创业公司开始聚焦解决商业化问题，格局未来1-2年将迎来洗牌分化 •云计算业务：互联⽹公司（⼀般也有云业务），⼤模型可以驱动云业务增长，所以云厂商是⼤模型的受益⽅，⼤模型业务的驱动因素包括： •1）云计算是未来重要的增长曲线和战略⽅向，⼤模型相关的推理训练可以直接拉动云业务的营收增长，⼤模型是公有云最重要的增量市场•2）由于⼤模型的业务模式相对传统云业务定制化成分少（例如模型微调训练，不同项目服务流程类似），模型API相当于直接卖公有云，可以获得更优的利润率•3）带动其他云业务增长，如云原⽣AI应用开发的相关⼯具、向量数据库、以及传统的计算、存储、⽹络、安全业务 •内部场景驱动：互联⽹公司旗下业务场景可接⼊自家模型进⾏迭代应用。以腾讯为例，内部有700+场景，例如腾讯会议、微信搜索、微信读书等可以直接被模型赋能，在内部实现应用 •持续进⾏基础模型训练以保持模型能⼒领先成本极⾼，国内⼤模型的商业化环境很差，这将驱动创业公司更加聚焦，发⼒应用或者深耕垂直⾏业、场景会成为短期的⽅向，整体盈利预期遥远 •传统的技术类厂商以及运营商也会做⼤模型，但主要思路还在已有业务和渠道上做延伸，给政府⼤客户、⾏业⼤客户做私有化、定制化模型服务，同时搭配其他产品服务，API的竞争⼒在市场上较弱，整体属于资源导向型业务，但目前在尝试从传统AI业务到⼤模型的转型 模型厂商概览-海外：格局已经收敛到头部5家超级公司，预期未来⼏年持续巨量投⼊实现AGI，残存腰部玩家⽣存空间将被进⼀步挤压 •2024年营收约40-50亿美元，超70%来自ChatGPT订阅服务，和微软进⾏了深度绑定，包括产品整合、营收分成、算⼒供应、数据中⼼建设等⽅面，最近⼀年市场份额下降，Anthropic和⾕歌获得了更多份额 •2024年营收约10亿美元，超80%来自API服务，其余来自Claude订阅服务（营收