走过新一代人工智能的蜜月期：首席信息官从试点到规模的七个硬道理（英）

超越GenAI的蜜月阶段：CIO从试点到规模的七个硬道理 要扩大规模，首席信息官们需要专注于更少的事情，但要做得更好。 本文是AamerBaig，DouglasMerrill和MeghaSinha与DaneshaMead和StephenXu的合作成果，代表了麦肯锡技术公司和麦肯锡AIQuantumBlack的观点。 ©GettyImages 五月2024 蜜月阶段由于大多数组织都在学习，因此建立gee-whizgenAI飞行员相对容易，但将其转变为规模能力是另一种 故事。根据我们最新的技术趋势研究，实现这一飞跃的困难在很大程度上解释了为什么只有11％的公司大规模采用了GeneAI。1 这个成熟阶段是一个受欢迎的发展，因为它为CIO提供了一个机会，将GeAI的承诺转化为商业价值。然而，尽管大多数CIO都知道飞行员并不能反映现实世界的情景— —毕竟这并不是飞行员的真正意义所在——但他们往往低估了为AI生产做好准备所需的工作量。最终，从GeeralAI获得全部价值需要公司重新连接它们的工作方式 ，并建立一个可扩展的技术基础。是这个过程的关键部分。 我们在上一篇文章中探讨了许多关键的初始技术问题。2在这篇文章中，我们想探讨关于为“Shaper”方法扩展GeneralAI的七个真理，在这种方法中，公司开发 通过将大型语言模型（LLM）连接到内部应用程序和数据源来获得竞争优势（有关更多信息，请参见侧栏“使用GenAI的三种方法”）。以下是Shaper需要了解和做的七件事： 1.消除噪声，并专注于信号。 对飞行员的工作诚实。减少实验。将您的努力引向解决重要的业务问题。 2.这是关于碎片如何组合在一起，而不是碎片本身。花费了太多时间来评估一代AI引擎的各个组件。更重要的是弄清楚它们如何安全地协同工作。 1“麦肯锡技术趋势展望2024”，即将在McKinsey.com上播出。 使用GenAI的三种方法 使用genAI有三种主要方法： —在“Taker”用例中，公司使用来自GitHubCopilot或SalesforceEinstein等第三方供应商的现成的，基于AI的软件来实现用例的目标 。 —在“Shaper”用例中，公司通过工程提示，数据集以及与内部系统的连接来集成定制的genAI功能，以实现用例的目标。 —在“Maker”用例中，公司通过构建大型数据集以从头开始预先训练模型来创建自己的LLM。示例包括OpenAI、Anthropic、Cohere和MistralAI。 大多数公司将转向Taker和Shaper的某种组合，以快速访问商品服务，而Shaper则在基础模型之上建立专有功能。但是，最高价值的genAI计划通常依赖于Shaper方法。1 1有关这三种方法的更多信息，请参阅“技术与生成AI的世代时刻：CIO和CTO指南”，麦肯锡，2023年7月11日。 2“技术与生成AI的世代时刻：CIO和CTO指南”，麦肯锡，2023年7月11日。 3.在成本让你沉没之前先处理一下。 模型仅占传统AI应用程序总成本的15%左右。 了解成本潜伏在哪里，并应用正确的工具和功能来控制它们。 4.驯服工具和技术的扩散。基础架构、LLM和工具的激增使得扩展部署变得不可行。缩小到那些最能为业务服务的功能，并利用可用的云服务（同时保持灵活性）。 5.创建可以创造价值的团队，而不仅仅是模型。要扩大规模，需要一个拥有广泛技能的团队，不仅要构建模型，还要确保它们安全可靠地产生应有的价值。 6.追求正确的数据，而不是完美的数据 数据。确定哪些数据最重要，并随着时间的推移对其管理进行投资，对您的扩展速度有很大影响。 7.重复使用或失去它。可重用代码可以将生成AI用例的开发速度提高30％至50％。 1.消除噪声，并专注于信号 尽管许多商业领袖承认有必要进行试点和实验，但这 并不总是反映在实地发生的事情上。即使generAI采用率增加，其真正的底线影响的例子也很少。在我们最新的AI调查中，只有15％的公司表示正在使用 GenAI对其公司的息税前利润产生了有意义的影响。3 加剧这个问题的是，领导者从他们的实验中吸取了误导性的教训。他们试图采取本质上是聊天界面的试点，并将其转移到应用程序-经典的“寻找解决方案的技术”陷阱。或者飞行员可能有 被认为是“成功的”，但它并不适用于业务的重要部分 。 未能扩大规模的原因有很多，但首要的原因是资源和高管的关注点过于分散 数十种正在进行的generAI计划。这并不是一个新的发展。当其他技术出现时，我们已经看到了类似的模式，从云到高级分析。然而，这些创新的教训并没有停滞不前。 CIO需要做出的最重要的决定是消除不良的试点项目，并扩大技术上可行的试点项目，并承诺解决重要的业务领域，同时将风险降至最低(图表1)。CIO需要与业务部门领导密切合作 关于确定优先事项和处理他们选择的技术影响。 2.这是关于碎片如何组合在一起，而不是碎片本身 在许多讨论中，我们听到技术领导者围绕交付GeneralAI解决方案所需的组成部分（LLM，API等）进行决策 。但是，我们正在学习的是，解决这些单独的部分相对容易，而集成它们却无济于事。这给扩展GeneralAI带来了巨大的障碍。 Thechallengeliesinorchestratingtherangeofinteractionsandintegrationsatscale.Eachusecaseoftenneedstoaccessmultiplemodel,vectordatabases,promptlibraries,andapplications(Exhibit2).Companieshavetomanageavariety来源(如云中、本地、供应商或组合中的应用程序或 数据库)、保真度(包括 延迟和弹性）和现有协议（例如，访问权限）。当添加新组件以提供解决方案时，它会对系统中的所有其他组件产生连锁反应，从而增加整体解决方案的指数复杂性。 3也就是说，他们将组织的息税前利润的5％或更多归因于GeneAI的使用。麦肯锡全球AI状况调查将于2024年2月22日至2024年3月5日在McKinsey.com上发布。 附件1 关注可行且业务影响明显的用例。 确定业务影响和技术可行性的标准 类别标准 用例（说明性） 快速/高影响力赢得第二优先 业务影响 创造价值 我们能准确地量化价值吗？它是性能上的增量函高 数还是阶跃函数？战略调整 这与公司的主要战略目标的一致性或支持程度 易于采用如何？ 最终用户是否热衷于采用该解决方案？是否 业务就绪 数据就绪 需要更多的特性或功能？ 我们是否在适当的时候引入此解决方案 ，考虑正在进行的转换或其他项目？ 业务影响 数据是否随时可用，或者我们需要创建或合成 技术可行性 解决方案就绪性 它？处理敏感数据是否有任何特殊考虑？ 解决方案是否需要经过验证或新生的技术？ 扩展能力 随着用户数量和云消费的增加，拟议的商 业模式是否仍然可行？ Low Low 技术高 可行性 可重用性解决方案的组件可以重新用于其他用例吗？ 麦肯锡公司 有效编排的关键是将组织的领域和工作流程专业知识嵌入到在云基础上运行的应用程序的模型、数据和系统交互的分步流程和排序管理中。有效的编排引擎的核心组件是API网关，它对用户进行身份验证，确保合规性，记录请求和响应对（例如，帮助为团队的使用情况计费），并将请求路由到最佳模型，包括第三方提供的模型。该网关还支持成本跟踪，并为风险和合规团队提供了一种方式。 以可扩展的方式监控使用情况。此网关功能对于扩展至关重要，因为它允许团队独立运营，同时确保他们遵循最佳实践（请参阅侧栏“genenAImodelorchestration的主要组件”）。 然而，如果没有有效的端到端自动化，就不可能实现交付GeneralAI功能所需的许多交互的编排。“端到端”是这里的关键短语。 公司通常会自动化工作流程的元素，但价值只有通过自动化整个解决方案来实现，从数据争论（清洁和集成 ）和数据管道构建到模型监控和风险审查，通过“政策作为代码”。“我们的最新研究表明，在每个模型的发布过程中嵌入测试和验证的可能性是他们同行的三倍多。4现代MLOps平台对于帮助管理这种自动化流程至关重要 ，根据麦肯锡的分析，它可以将生产速度提高十倍，并更有效地利用云资源。 3我们将GeneAI高绩效者定义为那些将其组织的EBIT的10％以上归因于他们使用GeneAI的人。麦肯锡2024年初，2024年2月22日至3月5日，即将在McKinsey.com上发表关于AI状况的全球调查。 附件2 新一代AI解决方案需要在整个技术堆栈中容纳一组复杂的集成。 具有端到端自动化的说明性技术堆栈 Data GenAI功能 云模型 数据充实和处理 业务流程 增强能力 对话记忆提示库 结构化数据 搜索 基础设施和云服务 数据库（如矢量存储） 图片搜索 语义和混合搜索 数据检索 安全和访问控制 结构化数据 ETLü 非结构化数据 源数据 护栏 查询验证和意图路由 用户界面 基础模型（如LLM、多模态模型、嵌入生成模型） API网关 外部运行时集成 LLM代理 LLM 流量管理和可观察性 Promptenoge-neering 前端应用程序 迅速浓缩回退查询 1提取、变换、加载。 麦肯锡公司 GeAI模型可能会产生不一致的结果，因为它们的概率性质或基础模型的频繁变化。模型版本可以每周更新一次，这意味着公司负担不起设置其编排功能并让其在后台运行 。他们需要开发高度专注的观察和分类能力，以快速和安全的方式实施geerAI。可观察性工具监控。 GeneralAI应用程序与用户的实时交互，跟踪响应时间、准确性和用户满意度得分等指标。如果应用程序开始生成不准确或不适当的响应，该工具会提醒开发团队进行调查并做出任何 对模型参数、提示模板或编排流程进行必要的调整。 4.在成本沉没之前掌握一下成本 GeneAI数据使用和模型交互的绝对规模意味着成本可 能会迅速失控。管理这些成本将对CIO是否可以管理GeneAI产生巨大影响 但了解驱动成本的因素对AI项目至关重要。例如，模型本身仅占典型项目工作量的15%左右。5LLM成本随着时间的推移大幅下降，并继续下降。 首席信息官们应该把精力集中在四个现实上： —变更管理是最大的成本。我们的经验表明，管理GeneralAI成本的一个很好的经验法则是，每1美元 5“制药行业的生成AI：从炒作走向现实”，麦肯锡，2024年1月9日。 GeneralAI模型编排的主要组成部分 编排是协调各种数据、转换和AI组件以管理复杂的AI工作流的过程。API（或LLM）网关层是用户或应用程序与底层GeneralAI模型之间安全高效的接口。编排引擎本身由以下组件组成： —工程提示和提示库：提示工程是设计输入提示或查询以指导AI模型的行为和输出的过程。提示库是预定义提示的集合，用户可以在调用传统AI模型时将其用作最佳实践/快捷方式。 —上下文管理和缓存：上下文管理突出显示与特定任务或交互相关的背景信息。缓存涉及存储先前计算的结果或中间数据以加速将来的计算。 —信息检索（语义搜索和混合搜索）：信息检索逻辑允许genAI模型从文档或数据源集合中搜索和检索相关信息。 —评估和护栏：评估和护栏工具有助于评估AI模型的性能、可靠性和道德考量。它们还为治理和LLMOps提供输入。这包括用于评估模型准确性、稳健性、公平性和安全性的工具和流程。 花在开发模型上，您需要花费大约3美元用于变更管理。（相比之下，对于数字解决方案，开发和变更管理的比率往往接近1美元。6）管理变革行动范围的纪律，从培训您的人员到角色建模再到主动绩效跟踪，对于geAI至关重要 。我们的分析表明，高绩效者拥有强大的绩效管理基础设施（如关键绩效指标（KPI））的