展望Gemini2/GPTNext，从IntelligencePerToken到Intelligence

海外行业报告：行业深度研究 “大模型2.0”报告 ——展望Gemini2/GPT 证券研究报告 2024年08月14日 Next，从IntelligencePerToken到Intelligence 作者： 分析师孔蓉SAC执业证书编号：S1110521020002 分析师李泽宇SAC执业证书编号：S1110520110002 请务必阅读正文之后的信息披露和免责申明 摘要 我们认为从IntelligencePerToken到InlligencePerTask的模型变化是重要方向。 1）训练阶段，大模型训练预计继续遵循“ScalingLaw”。云、创业公司、主权AI将继续大量采购算力并建设数据中心，追求继续提升IntelligencePerToken，预计全球训练集群将持续扩容，在训练集群超过10万片GPU后，对数据中心的建造、部署、供电、互联构成新挑战。计算密度、互联密度、功率散热密度与存储密度将有望快速提升。 2）推理阶段，我们认为树状搜索/自博弈等方式有望快速提升IntelligencePerToken，我们看好在计算阶段GPU与CPU的高速互联。以及在应用阶段，我们认为模型新架构带来的规划能力逐步提高；数学、代码与通用能力也将逐步提升。 我们建议关注标的：NVDAMSFTGOOGAMDARMCFLTESTC 风险提示：行业竞争加剧；AI发展与需求不及预期；产品交付不及预期 模型架构之变：回应AI应用的六千亿美元之问 GPU投入与AI商业化收入之差——AI商业化的六千亿美元之问： 红杉认为，如果GPU在大模型训练的投入有商业化回报，那么英伟达数据中心年化1500亿美元收入 应该对应着6000亿美元的终端市场。AI应用如何达到六千亿美元的市场规模? 对于六千亿问题的三种最常见的回答： 1）“成熟度曲线”：大模型存在大量的前置投入。 2）“ScalingLaw”:大模型随着不断更大规模训练将会实现更强能力 3）加速计算/“AI+”:GPU已经在推荐算法等领域替代和加速传统CPU工作负载 与市场普遍观点不同，我们认为2024年模型架构的变化将成为最重要的变化，模型架构变化有望带 来的能力进步将直接打开大模型应用的更广阔空间。 模型架构之变：GoogleGemini2——添加AlphaGo/AlphaZero规划能力。 DemisHassabis：“我们必须持续地优化大型模型，不断提升它们对世界预测的准确性，使它们成为更加可靠的世界认知模型。这显然是构建通用人工智能（AGI）系统的必要条件，但可能还不够充分。此外，我们还在开发类似于AlphaZero的规划机制，这些机制将利用这些模型来制定实现世界中特定目标的具体计划。可能包括将思考过程、推理链条串联起来，以及运用搜索技术来探索广阔的可能性空间。我认为，这些是我们目前的大型模型所缺失的要素。” Deepmind 202302 202305 202309 2025-2027 202304 202308 时间 2024年8月13号：GoogleAI发布会，或发布Gemini2 2024：谷歌陆续发布GeminiUltra1.5， 2025-27年：Gemini与 机器人相融合 GoogleBrain与Deepmind合并为Google 谷歌的TPUV5开始在更大的算力和更高的互联下训练 谷歌发布Bard聊 天机器人 谷歌发布Palm2大模型，Bard陆续更新内核为Palm2 谷歌的Gemini大模型开始小范围内测，后陆续发布 阶段一：重新梳理组织架构 阶段二：Gemin1、1.5陆续发布 阶段三：Gemini2或结合Alphago与LLM 在谷歌训练的Lambda持续未公开发布反而被OpenAIChatGPT超越后，谷歌开始加速追赶并合并Brain与Deepmind Gemini已开始在新的TPUv5Pod上进行训练，算力高达～1e26FLOPS，比训练GPT-4的算力还要大5倍 GoogleDeepmind认为新一代Gemini将结合Alphago 模型架构之变：OpenAI——“Q*”与“Strawberry”强化记忆与规划能力 2025-2026：或有望发 布GPT6 2024H1：多模态 能力 根据路透社在5月份转述OpenAI内部文件，OpenAI团队正在全力研究Strawberry项目。文件显示，Strawberry模型的目的，是为了使公司的AI不仅能生成查询答案，还能提前计划，足够自主且可靠地浏览互联网，进行OpenAI所称的「深度研究」。且此前由学界部分猜测，Q*很可能是基于AlphaGo式蒙特卡罗树搜索token轨迹。下一个合乎逻辑的步骤是以更有原则的方式搜索token树。这在编码和数学等环境中尤为合理。 应用中开放 202211 202303 202310 2025-2027 202303 202309 时间 2027年：训练人类水平的AI自动对齐研究员，再借助自动对齐研究员实现超级智能对齐。 2024年5月14日：发布GPT4-o 2024年下半年或发布GPTNext. 发布GPT3.5API 发布GPT4-V大模型与DallE-3图片创作模型，并在ChatGPT 发布ChatGPT 发布GPT4，推理能力，写作能力，准确度均大幅提升 有望发布多模态API与 StatefulAPI 阶段一：LLM+MultiModel 阶段二：AGI 阶段三：Superintelligence OpenAI结合RLHF与Transformer架构发布ChatGPT，具有远远超越此前AI的常识能力，逻辑推理能力，并开启了大模型时代.随后OpenAI发布多模态能力 我们预计OpenAI将持续以多模态数据与合成数据，训练更大参数量、更高Throughput与更复杂架构的大模型，更接近AGI，并将积极运用Q* OpenAI认为大模型将很快实现超越人类的智能，OpenAI公 布了计划于2027年实现自动对齐 回顾大模型1.0时代：IntelligencePerToken 大语言模型训练——“ScalingLaw”不断进行更大规模的模型训练，降低Nexttokenpredictionloss；硬件的耦合程度 较高，数据并行、张量并行、流水线并行，形成万卡GPU互联集群。 大语言模型推理——不断降低单token成本，计算复杂度和Token序列长度继续严格相关；不同难度和导向的任务都通过 Prompttoken和大模型完成交互。 记忆——LLMtoken序列存储在HBM 规划——模型本身能力与简单的CoT 协作——Chatbot 展望大模型2.0时代：IntelligencePerTask 对于新一代2.0时代的大模型，我们认为他将成为“自我优化能力的智能体” •“慢思考”——人类在面对困难问题时通常会花更多时间思考，以更可靠地改进决策。理论上，通过在推理时应用额外的 计算量，LLM能够超越其原本训练的水平。 •随着推理token与预训练token的比率增加，在简单问题上，推理计算将会更优；对于难题或在推理时计算需求较高的情况下，增加预训练计算可能更有效地提高性能。 展望大模型2.0时代：CPU与GPU互联或成为模型效率焦点 “AlphaGO+大模型”的计算消耗我们认为更有可能接近推荐算法与排序算法 “AlphaGO”架构中的MCTS需要大量CPU与GPU的共同计算： 在常规学习中，我们通常会考虑几个关键点：状态（state）和动作（action）。在进行仿真时，我们需要判断每个当前节 点是否需要仿真。 首先，需要判断当前节点是否为叶子节点。如果是叶子节点，我们需要检查它的探索次数是否为零。如果该节点尚未被探索过，那么它就可以作为初始节点开始仿真。仿真过程会根据整个状态的累计值进行，从开始状态到结束状态。这一过程涉及对每一步状态的累积计算。 第二部分是在使用蒙特卡罗方法进行仿真时，通过强化学习的价值函数或价值网络来预估状态的迁移过程及其总价值。 在典型的AlphaGeometry实验中，CPUWorker超过100,000个，配合四个V100GPU，实现接近人类奥林匹克奖牌水平。 类似于推荐算法超大集群中CPU处理稀疏特征，GPU处理稠密特征，瓶颈往往在互联。我们认为CPU、GPU互联或成为 最重要的变化。 投资建议 1）训练阶段，大模型训练预计继续遵循“ScalingLaw”。云、创业公司、主权AI将继续大量采 购算力并建设数据中心，追求继续提升IntelligencePerToken，预计全球训练集群将持续扩容，在训练集群超过10万片GPU后，对数据中心的建造、部署、供电、互联构成新挑战。计算密度、互联密度、功率散热密度与存储密度将有望快速提升。 2）推理阶段，我们认为树状搜索/自博弈等方式有望快速提升IntelligencePerToken，我们看好在计算阶段GPU与CPU的高速互联。以及在应用阶段，我们认为模型新架构带来的规划能力逐步提高；数学、代码与通用能力也将逐步提升。 我们建议关注标的：NVDAMSFTGOOGAMDARMCFLTESTC 风险提示： 1）行业竞争加剧：随着越来越多的公司进入AI领域，市场竞争日益激烈，这可能导致利润率下降并增加企业在技术研发和市场推 广方面的投入压力。 2）AI发展与需求不及预期：如果人工智能技术的发展速度或市场需求未能达到预期，可能导致企业在AI相关项目上的投资回报低于预期 3）AI产品开发或交付过程中遇到技术问题或供应链障碍，可能导致产品交付延迟 分析师声明本报告署名分析师在此声明：我们具有中国证券业协会授予的证券投资咨询执业资格或相当的专业胜任能力，本报告所表述的所有观点均准确地反映了我们对标的证券和发行人的个人看法。我们所得报酬的任何部分不曾与，不与，也将不会与本报告中的具体投资建议或观点有直接或间接联系。一般声明除非另有规定，本报告中的所有材料版权均属天风证券股份有限公司（已获中国证监会许可的证券投资咨询业务资格）及其附属机构（以下统称“天风证券”）。未经天风证券事先书面授权，不得以任何方式修改、发送或者复制本报告及其所包含的材料、内容。所有本报告中使用的商标、服务标识及标记均为天风证券的商标、服务标识及标记。本报告是机密的，仅供我们的客户使用，天风证券不因收件人收到本报告而视其为天风证券的客户。本报告中的信息均来源于我们认为可靠的已公开资料，但天风证券对这些信息的准确性及完整性不作任何保证。本报告中的信息、意见等均仅供客户参考，不构成所述证券买卖的出价或征价邀请或要约。该等信息、意见并未考虑到获取本报告人员的具体投资目的、财务状况以及特定需求，在任何时候均不构成对任何人的个人推荐。客户应当对本报告中的信息和意见进行独立评估，并应同时考量各自的投资目的、财务状况和特定需求，必要时就法律、商业、财务、税收等方面咨询专家的意见。对依据或者使用本报告所造成的一切后果，天风证券及/或其关联人员均不承担任何法律责任。本报告所载的意见、评估及预测仅为本报告出具日的观点和判断。该等意见、评估及预测无需通知即可随时更改。过往的表现亦不应作为日后表现的预示和担保。在不同时期，天风证券可能会发出与本报告所载意见、评估及预测不一致的研究报告。天风证券的销售人员、交易人员以及其他专业人士可能会依据不同假设和标准、采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和/或交易观点。天风证券没有将此意见及建议向报告所有接收者进行更新的义务。天风证券的资产管理部门、自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策。特别声明在法律许可的情况下，天风证券可能会持有本报告中提及公司所发行的证券并进行交易，也可能为这些公司提供或争取提供投资银行、财务顾问和金融产品等各种金融服务。因此，投资者应当考虑到天风证券及/或其相关人员可能存在影响本报告观点客观性的潜在利益冲突，投资者请勿