AI应用是投资者关注的焦点，24H2是潜在的击球区

AI应用是投资者关注的焦点，24H2是潜在的击球区AI应用的爆发，是行业形成beta行情的充要条件 23年的AI行情可以概括为以预训练LLMs的军备竞赛（算力相关硬件需求爆发推动的景气投资）和对LLMs应用的开脑洞（海外模型/应用的映射催生的主题投资）驱动的beta行情。但随着市场对AGI宏大叙事的逐步祛媚、应用落地节奏低于预期、以及算力相关的炒作过度，整个23年的AI行情几乎还是成为了投资者为知识付费的标准结局； 建立在23年市场对AI行业已有的认知上，24年最显性的市场靶点是AI应用。爆款应用的出现代表着生成式AI商业化的真正落地，同时意味着它能够为企业带来实打实的EPS，而非单纯PE的扩张。 AI应用是投资者关注的焦点，24H2是潜在的击球区AI应用的爆发，是行业形成beta行情的充要条件 23年的AI行情可以概括为以预训练LLMs的军备竞赛（算力相关硬件需求爆发推动的景气投资）和对LLMs应用的开脑洞（海外模型/应用的映射催生的主题投资）驱动的beta行情。但随着市场对AGI宏大叙事的逐步祛媚、应用落地节奏低于预期、以及算力相关的炒作过度，整个23年的AI行情几乎还是成为了投资者为知识付费的标准结局； 建立在23年市场对AI行业已有的认知上，24年最显性的市场靶点是AI应用。爆款应用的出现代表着生成式AI商业化的真正落地，同时意味着它能够为企业带来实打实的EPS，而非单纯PE的扩张。因此，应用能否真正爆发，是在目前的股价位置上，模型、应用、算力共同的靶点。从结论上来讲，我们认为AI应用的潜在的击球区是在24年的下半年。 模型即应用，应用爆发的前置条件是模型能力足够好 模型的推理能力、可靠性、推理成本、隐私安全依然是限制应用落地的核心因素。从现有应用的角度出发，我们看到产品功能的同质化严重（无论是垂直领域应用，还是GPTs这种平台应用），用户的付费意愿较弱。近日大摩和瑞银分别对北美500强企业对GenAI的使用情况做了两份全面的调查报告，调查不约而同的的显示超过60%的企业预计要在24H2之后才考虑大范围将GenAI产品投入生成流程。 基座模型24H1的主旋律是追平GPT-4，核心关注海外大厂的新模型能力（GeminiUltra、Claude-3…）和Mistral将要开源的新模型（对国内模型厂商意义重大，类似LLaMa当时开源）。OpenAI在Q1或将更新GPT-4.5，但无论是模型能力提升还是市场的新鲜感，都不足以形成大的拐 点。GPT-5为代表的下一代基座模型我们认为才有望带来本质上的模型能力提升。考虑到OpenAI对模型的Alignment至少要半年时间，我们就算假设当前GPT-5已经完成Pre-Train，那么也至少要等到24H2才有望正式发布，届时叠加新一代B100的算力加持，应用的潜在爆发也应是在此之后。 AI应用具有“冷启动”的特征，切勿低估其爆发力 尽管我们对AI应用爆发的timeline相对保守，但并不意味着我们可以放松甚至轻视对该板块的跟踪与研究。AI应用具有冷启动的特征，这是一个异于移动互联网时代的非线性变化曲线。我们需要紧密跟踪那个拐点，因为一旦越过，AI应用会以指数级的渗透速率远超绝大部分人的预期。我们主观的希望，在下一代模型和加速芯片的助力下，这一拐点可能在24H2的某时到来。 产业趋势跟踪： 基座模型是产业趋势的真正推动者，我们跟踪以下几个维度：模型扩展性：关注SOTA模型的迭代方向 模型规模化的天花板依然是摸着石头过河的实践科学。自GPT-4发布以来，我们再也没有看到LLMs参数量的大幅提升。近期关于MoE架构的讨论又在变多，不可否认MoE架构虽然能带来模型性能的边际提升（如*GPT-4、*Gemini、Mixtral8x7B），但MoE并不能带来数量级跃迁的有效扩展（解决了整体降本的问题，但没有解决天花板的问题，且对端侧显存占用不友好），行业对LLMs参数扩展性的天花板的依然存疑； Gemini实则是对Scalinglaw是否还成立的再一次回应。在GPT-5发布前（大概率2024H2），Gemini是唯一万亿级别参数的GPT-4对标品（可能在1500B左右），其扩展方式是通过增加语言文本外的其他模态数据（、视频、音频）去扩展模型的参数量/数据量。因此，2024年初上线的GeminiUltra性能提升幅度对Scalinglaw是否继续成立的判断至关重要； 海外基座模型的角逐在2024年势必是开始缩圈。除了OpenAI、Google外，还需关注：Anthropic（创始人同源于OpenAI，已推出对标GPT-4-Turbo的「Claude-2.1-200k」，公司最新估值$18B，Amazon投资$4B）；Mistral（欧洲开源领军团队，创世人在法国国家广播电台已宣布2024年将开源GPT-4级别的MoE模型）；AWS（拥有和Azure同级的算力，正在训练一个名为「Olympus」参数量是GPT-4两倍的模型）；xAI（马斯克亲自下场，「Grok」测试版本已向XPremium+订阅者正式开放，未来有望将其应用于智能车和人形机器人两个关键场景）；Apple（起步虽慢但最近动作变多了，近期上线了为M系列芯片定制的神经网络框架「MLX」、发表了一篇减少LLMs内存占用方法的论文、开源了一个多模态模型「Ferret」、正在协商$50M向出版公司购买语料） 数据扩展性：关注LLMs小型化的进展 过去半年小模型的进展速度远超参数量最大的SOTA。以Mistral7B为代表的小模型率先打破了此前DeepMind提出的Chinchillascalinglaw中对模型参数与数据量的量化最优关系，也对“只有大模型能够涌现”的认知提出了挑战；随后，微软研究院分享了一种新方法Orca（通过使用GPT-4的推理轨迹来构建指令数据集），并推出了性能卓越的Phi-2（使用超高质量的“教科书级”数据预训练）；与此同时，应用落地过程中也可以使用RAG来补足小模型知识容量的短板； LLMs小型化直接带来推理成本的大幅降低。LLMs的参数量与推理算力消耗/内存占用成线性关系，用更小的参数量的LLMs达到过去更大的模型才能达到的性能，对LLMs的商业化落地具有关键意义。在合成数据、RLAIF、模型蒸馏、参数量化等新老方式下，以GeminiNano为代表的3B及其以下的小模型能够达到何等性能高度，对判断AIPC/手机等终端AI的渗透节奏有重要的前瞻意义； 未来基座模型的竞争格局更倾向于赢家通吃。大模型是小模型的生成器，这或许是属于LLMs的数据飞轮（用AI的数据训练AI）。模型小型化背后成功的原因使我们对未来格局的判断更加清晰，具备SOTA能力的模型厂商在能力和成本上都将具备竞争优势。 更好的模型架构：关注Transformer变体/替代品的相关讨论 对Transformer进行改造以达到更快的推理。标准自注意力机制所带来的二次代价时间复杂度，以及当前加速芯片的访存瓶颈，使得LLMs支持的上下文长度受到制约。通过更优的位置编码（如ALiBi、RoPE）、注意力机制的改造（如SparseAttention、Grouped-QueryAttention、Sliding-WindowAttention），其他提升硬件效率的创新（如FlashAttention、KVCache），业界逐步提升了模型的长文本能力和推理效率； 寻找到Transformer的替代品是一件长期工程。近期学术界提出了几种具有前景的状态空间模型，这些模型可以通过潜在空间将输入映射到输出，并可以根据任务需求表达为RNN或CNN。例如，Mamba（一种增加了选择机制的状态空间模型）、StripedHyena（一种具有快速卷积核的状态空间模型），业内正在对上述模型的实际可扩展性（Scalability）进行验证。除此之外，RWKV作为一种新型的RNN也在被开源社区持续探 索，是降低推理算力的潜在替补。 国内追赶者：关注国内何时能够炼出自己的GPT-4 回看海外基座模型的发展脉络，我们能得出的确定性结论是LLMs的进化方向是一个“先大后小”的阶梯型迭代路径。这意味着，就算是对于更追求商业化落地的国内玩家，炼出GPT-4水平的基座模型也是一个必要条件。在国内的追赶者，字节跳动可能是最有潜力的选手（有算力，有场景，没有被上一轮互联网监管铁拳），与此同时如月之暗面、智谱AI等创业公司也不容忽视。 AIAgent是LLM-Native应用的角逐方向，我们跟踪以下几个维度：LLM-Native应用：激发LLM面向特定场景的慢思考能力 大模型应用仍在早期的探索阶段。截至目前，2C领域真正能称为高流量应用的可能只有ChatGPT（最新ARR达16亿美元）和Chatacter.AI（DAU能稳定在200万+）。2B领域微软M365Copilot推广速度平缓（100亿美元ARR目标可能要26年才能实现，UBS近期的调查显示客户推广意愿相对保守），GitHubCopilot作为最受欢迎的编程助手工具也没有让用户感到生产力的大幅提升（UBS调查显示大部分受访者认为其带来的生产力提升小于30%）； 领域知识激发模型的慢思考能力。LLM-Native应用的开发本质可以理解通过提示工程激发LLM面向特定场景的慢思考能力。这种慢思考能力能够与业务流程进行封装，形成知识和工程的结合，但也对产品经理、开发者、下游客户共同提出了更高的门槛； 模型即应用在现阶段依然成立。一方面，模型能力和应用的边界高度耦合。另一方面，模型的推理成本很大程度限制了应用的大范围推广。考虑到应用依然呈现冷启动的特征，伴随模型能力的边际提升（如慢思考能力、工具使用能力、更长的上下文长度），幻觉的减少（如通过RAG辅助、更好的模型微调）以及推理降本的持续推进，LLM-Native应用可能在2024H2会更接近那个临界点。 AIAgent平台：关注以GPTs为代表的平台生态进展 关注GPTs的后续更新。当前的AIAgent，可类比人形机器人，其在短期的实现策略、成本等诸多方面都远未成熟，但其通用性又不可否认是一个易于具象化的终局形态。OpenAI率先推出了GPTs，并将在2024年初上线GPTStore，集齐了高流量入口、低创作门槛和全商业闭环三大构建生态的核心要素，后续公司在GPTs上的迭代创新将具有指向意义； Agent-as-a-Service的商业模式仍需观察。在OpenAI推出其GPTs这一UGC的Agent平台后，国内的字节跳动、百度、昆仑万维、面壁智能等模型厂商也陆续推出自己的相关产品，其功能都类似于LangFlow这样的DAG可视化流程编排平台。AIAgent是否能成为Excel这样一个成功的提供标准化产品的平台，还是吸取过去低代码平台的失败教训只能提供定制化的服务，是现在我们需要持续关注和思考的问题。 交互方式转变：关注GUI+NUI对操作系统的创新 操作系统或是短期率先落地的AIAgent场景。OpenAI的联合创始人之一AndrejKarpathy认为可将LLM理解为一种新兴操作系统的内核进程 （kernalprocess）。AIPin的出现类似于2016年的VR，它们都创新性地提出了人机交互的新范式（未来的MR、AR眼镜同理）。AIPin不仅是一个AI原生的可穿戴设备，更是一个LLMs代理能力（Agent）的集中体现（虽然产品不一定有PMF）；关注2024年即将发布的桌面操作系统Windows12、以及LLMs在手机、浏览器、可穿戴设备上的功能应用； LLMs可带来人机交互体验的革新。NUI（自然用户界面）擅长处理不确定性、复杂性和新概念，通过多轮对话帮助用户理解和接受新的信息。而GUI（图像用户界面）则在概念变得普遍和确定之后发挥作用，通过可视化界面提高用户体验和操作效率；腾讯团队近日发布了一篇论文，题目是 《AppAgent：像人类一样操作手机的多模态智能体》，它利用GPT-4V的视觉理解能力，像人一样用“眼睛”来看APP界面，然后学习人类的操作方式。