德意志银行 - AI Meta Llama 3 主题研究最新消息 ， Mistral 50 亿美元 ...- 107763246

德意志银行研究 全球Strategy 专题研究 日期 2024年4月23日 AI最新：MetaLlama3，Mistral50亿美元估值和英国监管 Meta发布的Llama3，其下一代大型语言模型（LLM），不仅是一个积极的战略举措，也是开源AI在与OpenAI和Google专有模型的存在冲突中的重大打击。 在我们的“AI最新”新闻通讯的第二版中，我们解释了为什么这很重要。我们还讨论了Mistral 成立一年后潜在的50亿美元估值的含义，以及英国对AI监管态度不断变化的重要性。 虽然开源型号通常为其专有表亲提供更小，更轻，可定制的替代品，但Llama3将与它们正面交锋，不仅提供80亿和700亿参数版本，而且很快提供4000亿巨像。在一个参数（AI模型在训练过程中学习的变量）是能力的代理，而big通常更好的世界中，这一点很重要。 本周的图表显示了用于训练AI模型的计算数量（反映了参数的数量）呈指数增长。 Editors DavidFolkerts-Landau博士 集团首席经济学家全球研究部主管 +44-20-754-55502 PamFinelli 全球首席运营官研究 +1-212-250-3712 吉姆·里德 全球经济和主题研究主管 +44-20-754-72943 Authors OlgaCotaga研究分析师 +44-20-754-15910 AdrianCox研究分析师 +44-20-754-17775 图1：在过去十年中，训练AI模型的计算数量呈指数级增长 100,000,000,000,000 100,000,000,000 AI训练计算 （以浮点运算或FLOP度量，如log10所示） FLOP取决于 分发时间：23/04/202410:42:10GMT 参数个数 和模型复杂性 指数趋势线 万亿 100,000,000 100,000 100 2011 资料来源：德意志银行，《时代》，《机器学习中的参数、计算和数据趋势》。在epochai.org上在线发布。从这里检索。 德意志银行 重要的研究披露和分析师认证位于附录1。MCI(P)041/10/2023。直到2021年3月19日，未完成的披露信息可能已经显示，有关更多细节，请参见附 录1。 7T2se3r0Ot6kwoPa 有关AI的更多信息，请在德意志银行研究网站上订阅人工智能，访问我们的AI微型网站，并查看我们针对通才的最新研究，例如我们新的AI风险和法规101报告。 技术 Meta发布了迄今为止最大的开源模型Llama3，并表示将其集成到虚拟助手MetaAI中 发生什么事了? Meta升级了Llama3达到使开源生成AI模型成为现实的水平与专有的闭源竞争对手竞争下一代人工智能模型只是一个品尝者，未来将有一个更大的版本，可能是多语言和多模式的。我们在这里的第一个时事通讯版本中解释了多模式的含义。 LLM支持MetaAI，这是一种嵌入在Facebook、Instagram和WhatsApp上的Feed 、聊天和搜索中的虚拟助手。MetaAI也是一个独立的网站，并通过摄像头为RayBan太阳镜背后的技术提供动力。目前是仅在少数国家/地区可用包括美国、南非和新加坡。 Llama3将很快提供给所有主要平台上的开发人员。作为一个开源模型，它可以被任何人下载和改编。最初的Llama在一年前发布，并迅速成为定制模型的领先基础。 这很重要，因为： Meta正在利用其应用程序系列中每月40亿活跃用户1来推动其生成AI模型的采用。大规模访问分发，数据和计算能力正迅速成为AI提供商的先决条件。 引入生成式AI的最快方法对于更广泛的受众来说，将其嵌入现有产品中。Meta就是这样做的，同时也为您打开聊天窗口后可以向AI询问的内容提供建议。 该版本增强了开源模型与专有模型竞争的能力。事实上，即将推出的具有4000亿参数的更大的Llama3版本预计将是GPT的三倍-3.5，OpenAI最先进的免费模型。越来越多的证据表明，如果使用特定的，可靠的数据对开源模型进行微调，则在某些方 面可以与专有LLM一样好。 我们采取： Meta现在把自己放在与其他大型科技公司的直接竞争在生成人工智能开发方面一直处于领先地位的公司，特别是微软和谷歌。 尽管即使是4000亿参数Llama3也可能比最先进的领先AI模型（OpenAI的GPT-4，Google的Gemini1.5Pro和Anthropic的Claude3，均未披露其大小）要小，但它仍然拥有自己的基准测试，Meta说。 1Meta第四季度和2023年全年业绩 实际上，Meta说Llama3版本具有700亿个参数分数在知识和代码生成基准测试方面稍好与Google最近发布的旗舰模型Gemini1.5Pro.2Meta相比 ，Llama3比早期模型的效率要高得多，部分原因是经过了GPT-3.5的大约50倍的数据训练。 Llama3具有许多独特的功能，使其具有粘性，包括在键入时生成个性化动画和高分辨率图像。 另一个独特的元素是它从Bing和Google，并根据问题决定使用两个搜索引擎中的哪一个。与其他绑定模型相比，这给了它额外的灵活性。 虽然这些功能可能不是开创性的，但它们是可访问和可用在您口袋中的现有应用程序上。此外，任何有愿望和技能的人都可以免费使用该模型构建产品 。与使用OpenAI最先进的对话程序ChatGPT生成图像的限制相比，后者位于付费墙后面。 元AI是尚未在欧洲提供，它将不得不跨越更多的监管障碍。这些障碍只会随着即将推出的欧盟AI法案，世界上第一个全面的监管框架。这可能会给开源倡导者提供弹药，他们认为过早实施更严格的监管会扼杀创新和增长。 Companies 欧洲AI挑战者Mistral表示正在寻求50亿美元的估值 发生什么事了?据报道，一岁的Mistral是法国对欧洲AI冠军的巨大希望，他正在讨论筹集更多资金，将其估值从20亿美元提高到50亿美元。 这一轮可能相当于“几亿美元”根据TheInformation的说法。这可能会推动该公司最近才开始产生收入，超过德国的AlephAlpha，成为欧洲资金最多的生成AI公司。这也将使Mistral与欧洲大陆上的其他初创企业分开。资金比美国弱得多. 潜在投资者的身份尚未披露。以前的投资者包括美国风险投资公司AndreessenHorowitz和微软。 Thismatters因为Mistral最近才获得独角兽仅在一个月前，这家初创企业的增长速度惊人，突显了投资者在市场仍然不稳定的情况下寻找赢家的巨大胃口，尤其是在监管更加严格的欧洲，政府的支持可能至关重要。 2Meta，“介绍MetaLlama3：迄今为止最有能力的公开可用LLM” 3《财富》杂志，“欧洲在生成AI方面正在落后，而美国则领先光年。但比赛才刚刚开始，”2024年4月15日 我们采取： 如果大型科技公司是新一轮融资的投资者之一，这可能会吸引反垄断关注考虑到微软今年2月向米斯特拉尔投资500万欧元时，欧盟委员会(EC)表示将调查这一合作关系，看看它是否构成权力集中。 即使有针对新投资者的新反垄断调查，也有可能不会带来任何实质性的结果。上周，欧共体表示，最终不会对微软展开正式调查微软对OpenAI的130亿美元投资，因为这笔投资并不构成全面收购。另外，微软可能会通过“收购”通货膨胀的穆斯塔法·苏莱曼来 避免额外的监管审查。 Mistral报告的融资回合是更多证据表明，开源模型正在成为专有模型的严重竞争对手其他例子包括英特尔表示将为企业开发开放式人工智能；谷歌推出基于双子座技术的轻量级Gemma模型；以及埃隆·马斯克上个月发布的xAI。 为了说明开源和专有模型之间的竞争，我们创造了一个漫画在HuggingFace的AIComicFactory的帮助下，以画家GustavKlimt的风格。我们指示该工具生成“故事中具有连续性的漫画，突出了两种力量之间的激烈竞争。”生成AI工具的力量说明期待未来会有更多的漫画。 图2：生成AI如何以Klimt的风格说明竞争 来源：德意志银行使用AI漫画工厂从拥抱面孔创建 Regulations 英国考虑引入新的AI法律 发生什么事了?据报道，英国正在考虑用新的法律来监管人工智能，这些法律可能会监督该技术的成长与影响。周围可能会有新的规则LLM的算法如何共享，以及可以使安全检查一个法律问题他们将在美国和英国达成的协议基础上建立新的人工智能安全机构，共同为最先进的人工智能模型开发安全测试。 ThismattersbecauseitwouldmeanachanceinapproachbytheUKgovernmentastohowitregulatingAI.Previously,itappearedtoamorelaissez-faireapproach,applyingexistingregulatory frameworkinanattemptinnovationandsafety.Itwasonlyamonthsago"危言耸听"现在，立法者 和监管机构希望在人们越来越担心人工智能风险的情况下，考虑采取更积极的方法。 我们采取： 这表明，业内更关注人工智能风险的声音引起了立法者的共鸣。同时，PaulChristiano，OpenAI安全团队的资深人士，对AI持谨慎态度，已被任命为美国人工智能安全研究所所长。 新的英国法律如果得到批准和实施，将使其更接近欧盟邻国，因为欧盟对人工智能的监管将更加严格。 英国可能与其他欧洲国家分享的特别担忧是围绕大型科技公司的市场主导地位这意味着 ，在美国和欧洲大陆聚集力量的针对大科技的反垄断运动可能会扩展到其他国家。 监管将在一个地区或国家与另一个地区或国家的AI增长速度中发挥重要作用。由于《欧盟AI法案》将在域外适用，任何拥有欧洲联系的公司都不会脱离更严格的规则. OpenAI的SamAltman，GoogleDeepMind的DemisHassabis以及其他主要的人工智能领导人参加了去年11月在英国举行的人工智能安全峰会。他们的出席加强了科技公司希望被视为准备与立法者和监管机构合作的方式。 附录1 重要披露 *根据要求提供其他信息 *除非另有说明，否则价格是截至上一个交易时段结束时的最新价格，并通过路透社，彭博社和其他供应商从当地交易所获得。其他信息来自德意志银行、标的公司和其他来源。有关与德意志银行研究相关的披露的更多信息，请访问我们网站上的全球披露查询页面，网址为https://research 。.com/研究/披露/FICC披露。除了在本报告中，重要的风险和冲突披露也可以在https://research中找到。.com/Research/Disclosres/Disclaimer.我们强烈建议投资者在投资前查看这些信息。 分析师认证 OlgaCotaga,AdrianCox,DavidFolkerts-Landau,PamFinelli,JimReid. 附加信息 本报告中的信息和意见由德意志银行或其附属公司（统称为“德意志银行”）编写。尽管本文的信息被认为是可靠的，并且是从被认为是可靠的公共来源获得的，但德意志银行对其准确性或完整性没有表示。本报告中提供指向第三方网站的超链接只是为了方便读者。德意志银行既不认可这些内容，也不对这些网站的准确性或安全控制负责。 自2023年10月13日起，德意志银行收购了NmisCorporatioPlc及其子公司（“Nmis集团”）。Nmis证券有限公司（“NSL”）是Nmis集团的成员 ，是一家由金融行为监管局授权和监管的公司（公司参考编号：144822）。德意志银行为客户提供投资研究服务。除其他服务外，NSL还为客户提供非独立研究服务。 在最初的整合过程中，德意志银行和NSL的研究部门将保持运营上的差异。因