全球顶尖大模型厂商巡礼

大模型是AIOS时代赔率最高的赛道，谷歌与OpenAI两大王者巅峰对决。1）Plugins的发布意味着AIOS大时代的来临，AIOS既是系统也是入口，具有大模型能力潜力、生态能力优秀的科技厂商会更加重要。以OpenAI为代表的基础模型能力边界还在不断的拓宽，有望占据价值链中最主要的环节，成为AIOS时代赔率最高的方向。2）在AI竞赛中，Google与OpenAI率先布局，两者相辅相成，并各自具备侧重点。一方面，OpenAI在transformer架构、RLHF、Instruction Tuning上与Google同源； 另一方面，OpenAI与Google在技术架构与应用层面形成两条发展路线。在技术架构上，OpenAI的GPT是纯解码器模型，属于侧重生成的单向模型，而Google的BERT是纯编码器模型，属于侧重理解的双向模型；在应用领域上，OpenAI更具通用性，GPT模型微调与多模态构成万物互联基础，使用基础模型做细分领域数据微调具备极大优势，效果上基础模型通用性高；Google向全能型发展，相比GPT-4，PaLM-E在机器人操作规划、视觉问题解答、生成字幕等方面更加全能，可处理视觉、语言和传感器，极可能应用到工业生产。 其他科技大厂：多角度寻找切入点，团队建设相对早期。1）其他科技大厂布局也在火速铺开，与Google和OpenAI相比，以meta、amazon、tesla、apple为代表的其他科技大厂由于切入相对较晚，从硬件端、模型端、应用端等多角度各自发力，寻找侧重点追赶AI浪潮。2）META：模型体量相对较小，参数范围包括7B、13B、33B和65B，LLaMA-13B在大多数基准测试中都优于OpenAI的GPT-3（175B），有望成为小型企业的福音。3）Amazon：AWS与AI创企Hugging Face扩大合作，加速构建生成式AI应用的大型语言模型和大型视觉模型的训练、微调和部署，云计算客户可通过Amazon SageMaker程序访问Hugging Face的AI工具，针对特定用例进一步优化其模型的性能，侧重缩短时间与降低成本。4）Tesla：根据The Information报道，马斯克与前DeepMind研究员Igor Babuschkin接洽，希望由他领导建立AI实验室。目前Dojo在经典图像分类模型ResNet-50下，可实现比A100更高的帧率；在自动标注和占用神经网络下，性能远超A100，未来随着大模型在通用机器人领域应用，特斯拉有望获得更大空间。5）苹果：公司正在测试自然语言生成，代号为“Bobcat”的新项目将从最新的tvOS 16.4测试版开始进行测试，最终将进入苹果的其他操作系统。 六大初创公司：人才与资本加速入局，顶尖闭源落后开源。1）Anthropic：由OpenAI前元老创立，目标为AI安全与大模型研究，已获谷歌4亿美金投资。已推出聊天机器人产品Claude，与ChatGPT构成竞争，在部分任务上，可以表现出比GPT3.5更优秀的响应速度。2）Adept.ai：成立于2022年，致力于完成一款能够代替人类使用电脑、操控软件的AI助手，旗下模型ACT-1还处于雏形阶段，但根据公司给出的demo，已经可以完成通过自然语言指令自动在房产网页上寻找合适房源，或者在Salesforce上自动添加人员信息等任务。3）Character. AI由由前谷歌研究人员Shazeer和De Freitas创立，Shazeer为Transformer作者之一，代表产品为带有角色特征、人物个性，及上下文对话的聊天机器人，用户可选择不同角色（可以是真实，也可以是虚构的）对话，同时在对话中可影响角色。最近一轮融资估值已达10亿美元。4）Inflection AI由LinkedIn联合创始人Hoffman、DeepMind联合创始人Suleyman、前DeepMind研究员Simonyan联合创立，即将开始测试一款消费类产品，目前正在构建的会话型人工智能，并不会回答每一个主题的问题，但将专门协助用户的在线任务，如进行预订和购买。Infelction AI目前已获得2.25亿美元的股权融资。5）Cohere公司是NLP模型提供商，创始人来自谷歌AI团队，包括transformer作者，正在开发面向企业用户的类ChatGPT模型。6）Hugging Face公司开发使用机器学习构建应用程序的工具，包括各种机器学习库，并运营让用户共享模型和数据集的开源交流平台。 推荐标的： 1）大模型厂商：360、科大讯飞、云从科技、昆仑万维。 2）大模型生态厂商：阿里系、华为系、百度系、腾讯系。 风险提示：AI技术迭代不及预期风险；经济下行超预期；行业竞争加剧风险。 1.大模型是AIOS时代赔率最高的赛道，谷歌与OpenAI两大王者巅峰对决 Plugins发布，开启AIOS超级时代。OpenAI宣布为ChatGPT添加对插件的支持，这使得ChatGPT能访问其他第三方网站与相关应用，呈现简单的一站式操作。插件具备三大基本功能（检索实时信息、检索知识库信息、代替用户操作应用），开发与调用极其便利。我们认为，Plugins的发布意味着AIOS时代的到来，未来会有三大深远影响：1）各类应用结合百花齐放，应用超级时代，甚至可能“言出法随”，通过语言直接形成插件，快速改变物理世界。2）在Plugin生态下，大模型能力会非常重要，AIOS既是系统，也是入口，具有大模型能力潜力，生态能力优秀的科技厂商会更加重要。3）预计Plugins会让用户与底层IT的链接更加便捷，具有底层IT系统的厂商壁垒凸显，可以成为关键插件的提供方。比如具备酒店底层信息系统的厂商可以成为插件的直接供应商。权限允许的情况下，用户预订可以通过ChatGPT结合Plugins直接完成。 大模型是AIOS时代赔率最高的方向，有望占据生态链价值量核心。现阶段大模型生态链分为三类：基础模型、AI Infra、AI应用。 短期来看，以OpenAI为代表的基础模型能力边界还在不断的拓宽，会占据价值链中最主要的环节。 中期来看，随着模型发展速度逐步稳定，Infra层会有更稳定的机会出现，同时应用层也会出现深入某个垂直领域。 由于现阶段大模型的能力还在不断提升，我们预计将会产生类似操作系统的下游生态。 因此我们认为，在AIOS超级时代中，价值量最大的环节将是形成生态壁垒的大模型公司。 图表1：LLM有望占据生态链价值量核心 在AI竞赛中，Google与OpenAI率先布局，在模型架构、层次结构以及参数量的增加上不断创新，两者技术相辅相成，并各自具备侧重点。 Google与OpenAI的技术发展相辅相成，不断推动生成式AI发展。 transformer架构：2017年Google发布transformer架构，奠定了后续LLM的基础架构；2018年OpenAI发布GPT-1，采用了TransformerDeconder部分架构，实现1.1亿参数。 RLHF：2017年DeepMind提出RLHF方法，2022年3月OpenAI发布InstructGPT，采用RLHF技术，强化学习方式依据人类反馈优化语言模型。 InstructionTuning：2021年Google提出InstructionTuning，OpenAI在后续的InstructGPT中同时采用InstructionTuning和RLHF，优化语言大模型。 图表2：OpenAI与Google技术发展历程 Google与OpenAI技术发展与应用范围各具侧重点，形成两条技术路线。 1）技术架构上，GPT是侧重生成的单向模型，而BERT是侧重理解的双向模型：Transformer的主要网络结构由编码器与解码器所组成，Transformer会使用编码器模块对源句子进行编码，做完编码的步骤后，会对源句子和目标句子的隐空间变量进行解码。 编码器的主要用途是理解句子，因此可进行双向操作，可以在句子中进行前后扫描，观测上下文；解码器的任务则是生成文字，只能通过当前步的文本信息进行对下一个字的预测，因此只能做出单向操作。GPT是一个基于纯解码器的Transformer自生成语言模型，通过使用市面上存在的大量文本数据例如小说，教科书，贴吧论坛，开源代码等内容进行无监督预训练；与GPT单向的纯解码器模型不同，BERT模型则是一个双向的纯编码器模型，其结构是由Transformer解码器组成。BERT与GPT相似之处，都是基于在海量文本数据中进行无监督的预训练，之后用户根据具体任务再做微调；但由于基础架构区别，与GPT的自生成模式不同，BERT做的更多的是语义预测，对句子整体的理解任务。 图表3：Transformer架构拆解 图表4：GPT、BERT的主要任务场景 2）应用方面上，OpenAI更具通用性，Google向全能型发展。 3月14日，OpenAI发布GPT-4，相比细分领域模型，GPT提供通用、逻辑与智能，模型微调与多模态构成万物互联基础，使用基础模型做细分领域数据微调具备极大优势，效果上基础模型通用性高，并且预训练的无监督数据获取难度低；微调基础模型的行业效果更好，在各领域应用中可以不断学习专业数据提升基础模型。 相比GPT-4的通用性，PaLM-E在机器人操作规划、视觉问题解答、生成字幕等方面更加全能，同时处理视觉、语言和传感器，极可能应用到工业生产。3月6日，谷歌推出有5620亿参数的PaLM-E多模态大语言模型，主要思想是将连续的具体观察结果（例如图像、状态估计或其他传感器模态）以类似于语言的方式注入到语言模型中，包括机器人操作规划、视觉问题解答、生成字幕等，并具备能与数据集中不存在的物体交互的泛化能力。 图表5：GPT-4支持多模态 图表6：PaLM-E机器人摄像头反馈 2.其他科技大厂：多角度寻找切入点，团队建设相对早期 在战火步步紧逼下，meta、amazon、tesla、apple为代表的其他科技大厂布局也在火速铺开。与Google和OpenAI相比，其他科技大厂由于切入相对较晚，例如tesla大模型团队建设处于早期，因此从硬件端、模型端、应用端等多角度各自发力，寻找侧重点追赶AI浪潮。 1）META：模型体量相对较小，有望成为小型企业的福音 体量相对更小，性能具备优势。Meta发布了LLaMA的4个基础模型，参数范围包括7B、13B、33B和65B，相对OpenAI GPT-3的1750亿个参数来说体量较小。根据Meta论文，LLaMA-13B在大多数基准测试中都优于OpenAI的GPT-3（175B），LLaMA-65B与DeepMind的Chinchilla70B和谷歌的PaLM-540B相比部分指标具有竞争力。 图表7：LLaMA4个模型的基本信息 LLaMA模型有望促进小型企业应用。根据公司官网，“LLaMA等更小、更具性能的模型，有望造福无法使用大规模基础设施的用户，从而促进访问民主化的实现”。我们认为LLaMA模型有望成为小型企业的福音。 图表8：LLaMA与其他大模型Zero-shot性能对比 2）Amazon：与AI创企的深度合作，注重缩短时间与降低成本 与Hugging Face深度合作，创建深度学习容器DLC。AWS宣布与美国明星AI创企Hugging Face扩大合作，以加速构建生成式AI应用的大型语言模型和大型视觉模型的训练、微调和部署。Hugging Face是OpenAI的主要竞争对手之一，其主要业务包括生产AI产品和托管其他公司开发的产品，已发展成AI开发者共享开源代码和模型的在线中心之一。 图表9：AWS与Hugging Face合作创建了Hugging Face AWS深度学习容器（DLC） 使用DLC可以进一步优化模型性能，实现降本。Hugging Face正在开发ChatGPT的开源竞品，并将使用AWS来实现这一目标，以更加高效地优化性能、降低成本、将生成式AI应用投入生产，云计