数据领导者扩展人工智能的操作指南（英）

麦肯锡技术 数据领导者的操作指南，以扩展genAI 企业在部署生成式AI时需要一个以数据为中心的道路规划。领导者可以利用一个明确的运营模型成功规模化该技术。 这篇文章由AlexSingla、AsinTavakoli、HolgerHarreis、KayvaunRowshankish和KlemensHjartar共同撰写，GaspardFouilland和OlivierFournier代表麦肯锡技术和QuantumBlack（麦肯锡的AI咨询部门）的观点。 2024年9月 在对生成人工智能(generativeAI)痴迷了近两年之后，公司走过蜜月阶段1接受最重要的工作：从这种诱人的技术中创造价值。期望很高。最近的 麦肯锡全球调查发现如今各规模、地域和行业中有65%的公司定期使用生成式AI，这一数字是去年的两倍。2投资于通用人工智能继续上升，因为相信早期高绩效公司所获得的初步收益预示着未来成本的降低和利润的增长。但大多数公司尚未从通用人工智能中看到显著的影响。 高级管理人员（CDOs）往往带头创建这些模型 ——将技术、人员和流程结合起来，将通用人工智能（genAI）的潜力转化为实际影响。然而，在创建genAI运营模式时，数据领导者往往会落入两个陷阱： —TechforTech:这种方法涉及将大量资源分配给通用人工智能（GenAI），但缺乏明确的商业目的，导致生成的解决方案与实际影响脱节。这可能导致在日常工作中很少使用的通用人工智能工具上的过度支出，并创造较少的商业价值。 为了跟上创新竞争的步伐，大多数组织的数据执行官已经制定了生成式AI策略。虽然并非所有公司都已超越了试点阶段，但大多数公司已在不同程度上将AI整合到了他们的技术栈中。然而，技术集成模型是生成持久价值所必需的部分。companies必须还创建生成人工智能运营模型以确保其技术实施能够产生可衡量的业务成果。 —试验和错误：这种做法涉及尝试不同的生成型AI项目，但并非以协调的方式进行。这在技术、零售和银行业等領域中尤其具有特定风险，因为在这些领域，生成型AI有潜力迅速提高生产效率。而在农业和制造业等行业中，生成型AI可能需要更长时间才能对生产效率产生显著影响的企业，则可以考虑推迟部署这项技术。 运营模型是大多数大型组织中常见的结构。公司的运营模型是一种计划，概述了如何部署人员、流程和技术以向客户和利益相关者提供价值。它可能包括财务结构、合作伙伴关系以及产品路线图，以实现公司的长期目标。具体应用于生成式人工智能（genAI），运营模型涵盖了从人员配置和组织结构到技术开发和合规性的每一个决策，这些决策指导着生成式人工智能在整个公司内的使用和衡量方式。 一个明确的通用人工智能运营模型可以帮助领导者成功且安全地在整个组织中规模化部署通用人工智能。数据是成功部署通用人工智能的基石，因此首席数据官的角色至关重要。 许多企业领导人感到有必要尽快部署通用人工智能（GenAI）。这为数据负责人争取到机会，以获得批准实施以数据为中心的GenAI运营模式。 当CDO及其高管支持者准备好定义通用人工智能（GenAI）运营模型时，应采取哪些初始步骤？企业应采取哪些措施以确保这些运营模型符合风险、治理、安全和合规要求？我们提供了一本实用指南，数据领导者可以使用该指南来创建通用人工智能运营模型，包括如何构建人才团队、组织数据资产以及确定集中式开发或领域中心化开发哪种方法最为适宜。 1“超越GenAI的蜜月阶段：CIO从试点到规模的七个硬道理“，麦肯锡，2024年5月13日。 关于麦肯锡科技 麦肯锡技术部门与私营、公共和社会部门的组织合作，在云服务、数据转型、技术战略、风险与修复以及人工智能等领域创造机会。麦肯锡技术部门 由超过2,500人组成，在每个地理区域 ——包括开发者、工程师、建筑师、策略师和分析师——他们结合了技术专长和深厚的专业知识。我们与组织紧密合作，以交付 他们今天需要的技术转型，并建立拥抱下一步的能力。 围绕组件设计新一代AI操作模型 生成人工智能的创新正以极快的速度推进，因此设计一个利用组件的运营模型是有道理的。通过这种方式，公司可以制定计划，在定期间隔内将新的生成人工智能组件添加到企业架构中，并且这些添加方式要与业务目标保持一致。该运营模型允许对生成人工智能组件进行更改，而无需彻底重构技术栈。 架构。这种方法使银行能够在三个月内实施其实现核心通用人工智能（genAI）用例的80% （见图1）。通过早期识别出具有最大潜在影响的genAI组件，该银行集中其开发资源来生成与明确的中期和长期目标相一致的genAI功能 。然而，尽管基于组件的方法对于扩大通用人工智能至关重要，但只有31%的genAI表现优异的企业和11%的其他企业采用了这一模型。3 在一方面，将生成式AI功能添加到需要较少常规更新的成熟元素中，如云托管和数据分块，这需要更高的投资水平和实施复杂性。在另一方面，快速变化且生命周期较短的元素，如代理和大型语言模型（LLM）托管，应易于快速实施并快速更改。 在这一领域，组织可以具备灵活性，首先实施关键通用人工智能（genAI）应用场景所需的最小必要组件，然后根据需求的变化逐步添加和移除组件。例如，一家领先的欧洲银行在其企业内部部署了14个关键的通用人工智能组件 。 为了成功采用基于组件的生成式AI开发模型，公司可以组建一个专项小组来审查、更新和演化路线图。该专项小组还负责分配执行计划，确保信息技术、数据、AI和业务团队对特定部署具有适当的职责划分。这需要与各种相关方进行清晰的沟通，包括AI工程师、软件开发者 、数据科学家、产品经理和企业架构师，并定期向业务主管报告进展情况。协调工作至关重要，以确保组件的部署系统化并与其组织目标保持一致，而非呈现为一系列不连贯的试点项目。 附件1 选择扩展的或不同的genAI团队 在构建生成型AI运营模型时，定义一个核心团队至关重要。主要有两种选择：扩展现有的数据或IT团队，为其配备新的生成型AI技能，或者建立一个独立的生成型AI团队。后者可以通过从现有数据或IT团队中选拔人员，或者招聘新人才来实现。每种方法都有其自身的优缺点。 将现有的数据团队负责生成式AI（genAI）似乎是个更简单的选项，尽管随着生成式AI的发展，这种局面可能会发生变化。例如，一家领先的物流组织将其IT组织扩展到包括数据团队 ，以启动多个生成式AI项目。该公司将生成式AI纳入其数据和分析路线图中，鼓励现有团队提升生成式AI能力。尽管公司成功部署了一个生成式AI试点项目，但其范围有限。而且，由于生成式AI产品被整合到公司的整体技术平台中，未来部署速度比预期要慢，需要时间来确保与现有系统的合规性。 解耦genAI团队与IT或数据组织具有不同的优势。这种做法使组织能够从零开始构建一支新的高技能genAI团队。凭借坚实的数据和AI架构基础，新团队可以迅速在外围IT功能之外迭代genAI组件。 Several领先的欧洲银行已经成立了这样的通用人工智能（genAI）专项小组，旨在潜在地发展成为全方位卓越中心（CenterofExcellence,CoE）。在医疗保健和金融服务等高度监管的行业中，创建新的、集中的通用人工智能团队似乎也是最佳实践。采用这种方法，这些公司能够在几周内启动多个通用人工智能项目，而不是几个月。 无论是哪种模型都有可能成功，但两者都存在公司需要谨慎避免的陷阱。如果生成式AI团队与IT部门分离，其发展规划仍应与更广泛的IT组织保持一致，以避免重复努力或在多个地方构建孤立的生成式AI组件。每个组件的能力范围和所有权应明确定义并在整个组织内共享。例如，生成式AI工作组可以监督提示工程和边界条件、大语言模型操作和编排以及模型改进 ——但不应涉及数据摄取、管理和存储。 然而，如果生成式AI团队作为现有IT和数据功能的衍生部门扩展，该团队将需要成功管理两种截然不同的技术生命周期。特定的生成式AI组件，如大语言模型（LLM）托管和模型枢纽，将需要比传统IT和数据组件（如托管和容器）更快地进行开发并投入生产。 无论一家公司选择扩展其通用人工智能（genAI）团队还是保持独立的团队，重要的是中央IT团队需要定义一个共同的基础技术架构，将所有通用人工智能工具整合在一起。 避免此步骤可能会导致合规性问题或技术债务-修复最初是为了速度而不是质量而构建的越野车产品所需的额外工作。 在战略业务领域确定数据管理的优先级 正如每位数据领导者所知，有效的数据管理是实施通用人工智能（genAI）的关键因素。没有功能性的数据组织，genAI应用将无法检索和处理所需的信息。然而，大多数企业报告在数据利用方面存在重大障碍，包括模型再利用性、可访问性、可扩展性和质量等方面的问题。因此，在任何genAI的运营模式中，都应该包含数据管理和治理策略。治理包括管理文档的来源、准备 、整理和标注，以及确保结构化和非结构化数据的质量和合规性。 管理公司整体数据中超过80%的非结构化数据可能看似是一项艰巨的任务。4确实，60%的生成型AI高绩效企业和80%的其他公司难以定义组织其非结构化数据的全面策略。5为了应对这一挑战，组织可以根据业务优先级优先考虑未结构化数据的具体领域和子领域。例如，一家公司可能优先考虑一个数据领域，将所有正在开发的生成式AI产品归类到一个业务单元中，而另一家公司可能优先考虑一个与特定功能（如财务或人力资源）相关的数据领域。理想的领域和子领域应该小到足以采取行动，同时大到能够提供显著且可衡量的结果。 由于许多数据团队对处理非结构化数据可能不够熟悉，该过程应由专家以集中方式启动。这些专家通常是训练有素的数据工程师，专门处理非结构化数据，以及自然语言处理工程师，组建成一个企业级中心（CenterofExcellence,CoE）。他们建立并实施管理非结构化数据的流程，使其能够被通用人工智能系统访问。他们确保公司在通用人工智能运营模型中的政策提供关于何时何地使用数据的视角。他们还确保数据质量、风险管理及合规性的统一标准得到一致执行。 然而，一旦CoE提供了部署路线图，业务领域的专家（具有业务监督权）应接管数据管理过程 。他们比单独的数据专业人士更能从其领域内的特定记录中提取知识。随着业务单元开始为更多样化的用例提供更多高质量的数据，集中式数据团队往往会被需求淹没，并且缺乏检查数据质量、真实性和领域特定文档标记的专业知识。 计划采用分散的方法进行GeneralAI开发 随着领域团队在数据管理方面的能力不断增强 ，公司可能会选择逐步增加这些团队在生成式AI（genAI）开发方面的所有权——从集中管理模式过渡到联邦管理模式，最终实现去中心化管理（如图2所示）。前瞻性数据高管可能希望确保其生成式AI运营路线图中包含未来去中心化开发的场景。有三种方法可供考虑。 4TamHarbert，“挖掘非结构化数据的力量”，麻省理工学院斯隆管理学院，2021年2月1日。 5“2024年初的AI状况：GenAI采用率激增并开始产生价值“，麦肯锡，2024年5月30日。 CentralizedgenAI 一些公司选择将生成式AI集中在其各自的领域 。这使组织能够快速构建能力并控制成本。一家领先的全球电信公司采用了这种模式，将生成式AI作为其业务单元的一个节点来运营。 首席数据和人工智能官的领导。该公司能够迅速组建一支知识渊博的生成式AI团队，通过将现有员工纳入一个中央单位来实现这一目标。这种方法降低了开发成本，并减少了多个团队创建类似项目的风险。 附件2 联邦一代AI 随着公司构建通用人工智能（genAI）专业知识 ，它们通常会选择联邦模型，在这种模型中，业务单元不仅负责消费与其领域相关的数据，还承担数据处理和存储的任务。该模型允许各领域将通用人工智能更深入地集成到日常工作中，以实现更强的业务成果。 一个主要的北美投资银行选择了联邦模型来在其业务部门内开发新的通用人工智能应用场