Gartner AI Infra EMQ报告

创新型人工智能技术指南 2024年12月12日-IDG00793932-阅读时间：40分钟作者：生成式AI团队 行动计划：人工智能；采用现代架构和技术；发展技术和工艺能力以支持D&A（数据与分析）；生成式人工智能资源中心；软件工程技术 生成式人工智能技术正在迅速兴起，并承诺带来巨大的价值。正如更广泛的AI一样，生成式AI渗透了整个技术栈和大多数行业垂直领域。技术领导者可以使用这份高级指南和随附的“新兴市场象限”来探索供应商格局。 Gartner,Inc.|G00793932第1页，共39页。 概述 关键发现 ■尽管在过去的几年中，生成式人工智能（GenAI）已经拥有了一些特定的应用领域 ，我们现在正看到企业全面引入GenAI应用。GenAI项目正从探索和试点阶段转向生产阶段，同时企业也在更广泛地引入GenAI生产力工具，例如MicrosoftOffice、GoogleWorkspace和AmazonQ。 ■GenAI领域的供应商覆盖企业堆栈的所有层次，从底层基础设施到开发工具和最终应用程序。现有的平台如DSML、CRM和ERP正将GenAI集成到其产品中，此外，还涌现出许多全新的生成平台和服务进入市场。 ■虽然生成式技术和应用在它们所生成的内容（例如，图像、文本、视频、代码、设计、3D模型）方面各不相同，但大部分市场活动和投资是由基础模型驱动的，特别是大型语言模型（LLMs）及其相关生态系统。 ■市场中的第一批供应商集中在内容的快速生产和体验上，得益于企业信息和知识库的支持。今天，AI代理技术正通过将大型语言模型（LLMs）与软件工程和AI工具连接起来 ，颠覆市场并创造创新的第二波浪潮。这一波颠覆将为解决动态流程和工作流程的市场解锁二级效应。由通用人工智能（GenAI）赋能的代理技术将推动架构策略向多代理系统和模拟市场的解决方案转变。 Gartner,Inc.|G00793932第2页，共39页 建议 ■提前规划以减少GenAI试点和生产应用的技術負債。设计松耦合于生成模型的解决方案 ，以实现灵活的模型选择和组合。利用企业知识资产（例如，内容、数据、规则/启发式方法、语料库、数字孪生模型、知识图谱）来提示和确定GenAI模型在各种生成服务中的行为。如果您尚未为您的业务开发语义数据层，请从现在开始。 ■考虑你和你的供应商的道德和负责任的AI实践，例如保护第一方知识产权、意识到第三方知识产权的使用以及管理模型产生的偏见或有毒输出。检查解决方案的内容培训来源，以评估在未来几年内随着法律生效你面临的潜在风险。在供应商的动机和选择中纳入采购和法律团队。买家应计划定制开发治理系统的“最后一公里”。 ■检查您现有的应用程序组合中的GenAI路线图，而不是以零散的方式支付来启用应用程序中的新GenAI功能。首先考虑它们在您的组合中对于数据、流程和智能的作用，以及您可能如何减少AI技术债务。随着供应商开始将核心GenAI技术适应于行业和业务领域，预计到2025年H1，市场将通过一系列专门针对角色、业务单元和行业的解决方案得到补充。 ■全面评估供应商解决方案，但展望人工智能系统和架构的更大图景。在市场上供应商如此众多的情况下，理解如何不仅仅（a）选择具有用例价值的应用程序，而且（b）想象它们如何组合成更大的AI系统和企业架构可能会具有挑战性。定期比较您的供应商列表以及您构建的AI架构与新兴市场象限中的格局，以跟踪供应商的快速演变能力及其对您业务可能产生的影响。 战略规划假设 ■到2027年，直接使用开源人工智能的公司数量将增加十倍（不是通过其他供应商间接使用）。 ■到2027年，通用人工智能（GenAI）将促进其他人工智能技术（除通用人工智能外）的使用量增加400%。 Gartner,Inc.|G00793932第3页共39页 关于不断演变的洞察 以下研究是关于进展的工作，可能需要频繁更新。它不代表Gartner的最终立场。随着我们继续关注这一主题，我们邀请您参与。提供建设性反馈相关迭代和反馈可能被纳入最终研究，该研究将经过我们的标准审查流程。 目前，EvolvingInsights无权进行复制或引用。 目录表 使用这些跳转链接在文档中导航： ■市场定义 ■市场图 ■市场动态 ■市场演进 ■商业利益（使用案例） ■试点与评估供应商 ■风险管理 ■新兴市场象限新 市场定义 返回顶部 人工智能本身不是一个市场；它渗透到整个技术栈和大多数垂直领域。这种与科技互动的新方式正在颠覆消费者和工人的科技使用模式。 Gartner将生成式人工智能定义为“通过学习大量原始内容库，能够生成内容、策略、设计和方法的新的衍生版本的技术。生成式人工智能对商业产生了深远的影响，包括内容发现、创建、真实性、法规；人类工作的自动化；以及客户和员工的体验。” Gartner,Inc.|G00793932第4页/共39页 人工智能通用市场由以下几个部分组成，供应商通常存在于多个部分中（见图1）： ■基础设施提供商——本部分包括为支持生成式人工智能（GenAI）的计算、存储和网络需求而提供基础设施（包括硬件和IaaS及PaaS服务）的供应商。它还包括为GenAI开发和生产中的应用提供基础设施编排、调优和扩展能力的软件提供商。 ■模型提供商——这一层供应商提供访问商业或开源基础模型，如LLM、多模态模型和其他类型的生成算法（如GANs、遗传/进化算法或模拟）。为开发者提供这些模型，以便他们将模型嵌入到其应用程序中或用作微调自定义模型的基模型，以满足其软件产品或内部企业用例。 ■人工智能工程工具——该部分供应商包括现有和初创供应商，涵盖全模型生命周期管理，特别调整以满足开发、精炼和部署生成模型（例如，大型语言模型）以及其他生成式人工智能（GenAI）工件在生产应用中的需求，以及整体流程编排。 ■GenAI应用程序——GenAI应用通过利用GenAI功能来提升用户体验和任务增强，从而加速并协助用户实现期望的结果。当嵌入到体验中时，GenAI可以为生成和编辑文本、代码、图像以及其他多模态输出等单一任务提供更丰富的语境化。作为一种新兴能力，流程感知的GenAI代理可以由用户提示以加速将多个任务联系在一起的流程。 图1：生成式人工智能概述 在过去的几年中，通用人工智能（GenAI）已经出现了一些利基应用，特别是针对模拟 、合成数据生成、对话式人工智能、高级智能文档处理和搜索等用例。在大语言模型（LLMs）和大型行动模型（LAMs）的研究在过去一年中迅速发展，推动了2024年生成代理平台的出现。虽然基于GPT的能力展现了LLMs在革新与科技界面互动方面的巨大机遇，但生成代理将彻底改变业务流程实现智能化自主/半自主的方式。 对于企业而言，三个与通用人工智能（GenAI）颠覆性变革相关的主要领域与使用模式有关，具体如下所述。如何进行生成式人工智能试点（参见图2）。 Gartner,Inc.|G00793932第6页，共39页。 图2：关键生成式AI颠覆 这些颠覆性领域在买家组织探索其对于通用人工智能（GenAI）的投资和采用路线时至关重要。技术决策需要与业务用例和组织的AI成熟度相一致。技术堆栈正在迅速演变，能够满足组织广泛的需求，无论是寻求带有GenAI增强的现成生产力工具，还是希望基于其专有数据进行模型优化，从而构建自己的GenAI应用程序。 市场图 返回顶部 图3展示了企业中GenAI颠覆性影响的逻辑技术栈映射。该栈从下至上流动，从基础设施到模型提供商，再到AI工程，最后是GenAI应用。欲了解更多细节和更深入的了解GenAI格局，请参阅人工智能生成技术概览指南. Gartner,Inc.|G00793932第七页，共39页。 图3：生成式人工智能技术逻辑栈 市场动态 返回顶部 尽管今天的生成式技术和应用多种多样，但大部分市场活动和投资是由基础模型驱动的，尤其是大型语言模型（LLMs）及其周边生态系统。 市场供应商的市场动态正在迅速演变。逻辑堆栈上每个部分都有不同的竞争方面、供应商关注点以及满足买家轮廓和需求。以下是关于每个层次玩家类型及其市场动态的对话。 基础设施 在宏观层面，基础设施层由看到其产品需求不断增加的AI芯片供应商所共享，这些产品需求旨在支持训练和推理工作负载，以及来自超大规模云服务提供商（CSPs）的IaaS和PaaS服务。基础设施的买家是技术供应商自身，以及对通过构建模型进行技术创造感兴趣的服务提供商和企业，这些企业可能将AI工程融入应用程序中，用于内部用例或外部盈利。 基础设施即服务（IaaS）和平台即服务（PaaS）供应商 大多数训练和推理都在云服务提供商中进行，因为云计算在计算、存储和网络方面提供了可扩展、弹性且成本效益高的选项。超大规模云服务提供商对支持整个技术栈（包括应用程序）的活动感兴趣。提供的通用人工智能开发服务通常以大型语言模型（LLM）的可获得性为基础，这些模型可以是内部开发的，也可以是通过合作伙伴关系或开源软件（OSS）获得的。与基础设施编排相关的辅助服务同时重叠了IaaS和PaaS的功能（分布式计算、集群管理、内存管理、存储和网络优化以及强大的可观察性），并支持技术供应商和企业构建应用程序。 大部分对计算、网络和存储硬件的需求目前都来自云服务提供商（CSPs）。偶尔，技术供应商可能会建立自己的架构来构建定制模型。然而，直到生成式人工智能（GenAI）支持的需求在企业数据中心中实质性体现出来，云服务提供商将继续满足企业用例对基础设施的消费。 微软Azure、亚马逊云服务或谷歌云平台等超大规模云服务提供商的战略举措之一是投资于他们自己的专有AI优化芯片，以支持来自开发者的不断增长的AI计算需求，并运行他们的SaaS应用程序。 AI芯片供应商 生成过程正在增加传统人工智能方法的作业量。LLM训练和推理的计算需求比传统人工智能更高。这导致了对专注于高内存、加速计算的芯片制造商的需求激增。由软件层增强的GPU和特殊CPU配置是推动GenAI模型在生产中创新和部署的计算引擎。 一些人工智能芯片制造商通过在支持模型开发和实施的软件层进行垂直整合，创造更深层次的区别。这种整合使它们更接近技术堆栈顶层的应用价值创造。 模型提供商 生成模型货币化的机会目前正处于高峰，投资和竞争正在加剧。在模型质量和多样性方面处于领先地位的公司，是那些在互联网数据收集方面积极进取以支持大规模训练和微调大型语言模型（LLMs）的公司。随着商业选项的出现，技术社区对技术的机会变得更加清晰，开源运动开始关注那些试图为寻求在生成模型之上构建的开发者和组织创造公平竞争环境的LLM选项。除了特定用例中模型规模开始缩小外，用于改进和微调模型的数据和人力投入也在简化，同时出现了特定领域模型（具有深度水平或垂直术语和上下文）以及轻量级LLMs（支持云和边缘的成本和占地面积推理）。在商业和开源选项之间 ，开发者的选择空间正在扩大。 商业模式 商业/封闭模型，如GPT-3、GPT-4、LaMDA、AmazonTitan、Claude、ERNIE、Gemini或Granite，正在推动投资于其开发的公司的经济引擎。拥有这些模型的供应商使用商业模型在其之上构建应用程序，以货币化这些应用程序，并通过API将它们提供给开发者以嵌入到应用程序中。特殊的合作伙伴协议允许合作伙伴在其云基础设施中部署模型的实例，并在其周围包裹企业安全和隐私，同时构建应用程序。欲深入了解生成式人工智能模型，请参见创新指南：生成式AI模型. 开源模型 开源的LLM（大型语言模型）如BLOOM、GPT-J、Llama2、Dolly、DBRX和OpenLLaMA是社区努力的结果，为开发者社区提供了选项，使他们能够在价值增加的应用程序上创新和商业化。开源社区一直积极为开发者（和其他角色）构建能力，而通用人工智能是一个巨大的机会。开源选项对于正在试验和验证用例的公司以及已经拥有能够承担模型操作维护（包