评估企业生成 AI 的机遇和挑战

评估企业生成AI机会和挑战 ReeceHayden,高级分析师 TABLEOFCONTENTS 评估技术成熟度用于企业部署5 如何打开，小模型堆叠到企业优先事项？12 的状态和期望 生成性AI法规18 INTRODUCTION ChatGPT在2022年的发布经常被比作人工智能（AI）的“iPhoe或智能手机时刻”。现在，消费者和企业比以往任何时候都更容易使用这项技术。在快速发展的机器学习（ML）生态系统的包围下，基础模型彻底改变了在企业应用中部署生成AI的速度和成本 。这提供了重要的机会，包括成本削减，流程自动化，甚至通过开发新/增强服务来创造收入。ABIResearch预计，到2030年，遗传人工智能将在企业垂直领域增加超过4000亿美元的价值。然而，机会可能比比皆是，但在过去的两年中，企业部署的速度并没有像许多人预期的那样快。需求和供应方面的挑战都是罪魁祸首。本白皮书探讨并解决了这些市场摩擦。 企业视角 最麻烦的用例是面向客户的,大多数可扩展的、可用于生产的用例仍然面向内部。 识别企业生成AI机会 尽管企业采用仍处于早期阶段，但巨大的机会比比皆是。生成型人工智能提供了降低成本、创造新的收入流和自动化现有流程的可能性。图1概述了这些机会。 图1：企业生成AI机会 内部外部 （来源：ABIResearch） 了解客户生命周期以提高保留率和降低客户流失率 降低产品上市时间和成本 建立面向客户的新产品和服务 部署面向客户的产品需要可靠的AI 通过副驾驶支持员工的工作效率 自动化内部 流程 简化和改进面向客户的流程 采用挑战 一系列企业正在内部和外部的各种不同用例中部署生成式AI。然而，大多数市场都在努力从概念验证（PoC）转向大规模生产。这种市场摩擦的基础是生成AI给企业带来的风险。虽然高管们愿意开发PoC来展示该技术的潜力，但由于该技术的相对不成熟和相关风险，他们仍然犹豫不决。这样做的结果是“孤立”的点部署或长寿命PoC ，而没有明确的企业规模时间表。以下部分重点介绍了与大规模生成AI部署相关的一系列风险和挑战。 业务风险与挑战 •天赋:企业对新的生成AI模型的可用性感到措手不及。很少有人计划适当地提高技能或雇用以适应部署和使用。这意味着企业正面临着巨大的技能差距，这阻碍了他们以经济有效的方式部署、管理和扩展生成模型的能力。这不仅仅是培训基础模型（FM），因为这通常由第三方完成，而且集成、优化、微调、监控和管理的技能非常重要，并且可能会带来巨大的部署障碍。 •费用:大规模培训、微调、运行和管理生成式AI模型的成本很高。在依赖云计算环境和每天跨许多图形处理单元(GPU)运行工作负载时尤其如此。尽管生成式AI具有明确的投资回报率(ROI)，但固定和可变成本将很高，这给企业的发展带来了巨大障碍。 •大规模的AI管理：行业评论员预计，随着企业生成AI采用的规模扩大，小型语言模型(SLM)将跨业务部门部署，以支持特定的应用程序。这将意味着企业正在部署数十甚至数百种不同的AI模型。每个模型都需要训练、部署、监控、优化、微调、应用程序调试、数据管理以及一系列其他ML流程。如果没有自动化，这将是劳动密集型的，并带来严重的管理难题。 •结构:最大化通过采用生成式AI创造的价值需要在企业内的每个可行流程中进行集成。这涉及重要的运营变更管理（OCM），以解决流程，系统和运营结构。由于大多数人对生成AI的“早期”可用性感到措手不及，他们仍在进行重组以适应这项技术。预计现有流程、招聘政策、内部治理、技能提升和更多领域的转变。 •控制和所有权:内部企业监管和治理要求更好地控制知识产权(IP)和客户数据。这阻碍了生成AI的部署，因为第三方模型通常不清楚用户提示或数据是如何存储和利用的。这一挑战延伸到数据主权和将客户数据保持在区域或国家边界内的要求。第二个挑战取决于谁拥有AI输出数据。第三个挑战来自使用受版权保护的数据培训大型语言模型（LLM）的风险，以及在整个市场上不断出现的法律问题。 •功耗：即使与“传统AI”相比，生成AI模型也需要更多的计算能力来进行训练和推理，因为它们的规模越来越大。随着企业扩展生成AI推理，企业数据中心的能源需求将带来挑战，尤其是在可持续性方面。 •缺乏用于生成式AI部署的全球统一政策/最佳实践：对生成AI的商业准备的监管回应已经支离破碎。美国等一些地区正在依靠自我监管，而欧盟(EU)等其他地区正在实施更严格的监管，以大规模减轻与人工智能相关的潜在负面外部性。这将给企业部署带来监管风险，尤其是跨国公司。 •地缘政治紧张局势：AI硬件（和软件）在持续的地缘政治争端中发挥着越来越重要的作用。例如，美国已禁止 这给希望跨地区开发和部署人工智能的企业带来了不稳定。 技术挑战 •透明度和解释性：这将用户暴露于重大风险,意味着在企业环境中,开发人员无法对模型权重进行故障排除、更 改或更改以确保准确的输出。 •可信度:幻觉是部署中的主要风险。许多备受瞩目的案例表明，产生错误答案可能会导致潜在的商业和声誉问题。这些可能是由于偏见、不正确/不充分的训练数据、模型做出的不正确假设，甚至是没有适当AI护栏的最终用户操纵。当ChatGPT编造报价和不存在的法院案件包含在ChatGPT生成的法律摘要中时，发生了幻觉的真实例子 。 •可靠性:关键任务用例依赖于低延迟和高可用性。但是，随着模型的扩展，资源将需要执行更多的计算操作，这可能会造成瓶颈，带来可用性方面的挑战。例如，面向公众的聊天机器人可能无法扩展到一次处理数百或数千个客户端的查询。可用性挑战是计算资源稀缺的基础，特别是考虑到围绕GPU的供应链挑战。 •数据:作为生成AI部署的基础元素，数据提出了许多相关挑战。首先是可用于训练和微调的精选数据集的可用性 。第二个问题涉及数据主权，安全和知识产权（IP），这是主要的挑战，尤其是在使用ChatGPT等第三方AI 应用程序时。这导致了许多备受瞩目的企业禁止第三方系统。第三是围绕将第三方数据用于基础模型(FM)的歧义 。第四部分围绕客户数据和使用这些数据的可理解的反对意见。模型训练。 •现成型号：即使是行业领先的生成AI模型，在大多数情况下也能提供低于70%的准确率。这意味着，尽管预训练模型确实加快了时间价值（TTV），但部署生成AI仍然是时间，资源和人才密集型的，因为ML操作（MLOps）需要实现“可接受”的准确性。这进一步造成了行业内人才的瓶颈，正在减缓部署。准确性只是一个。 用于对生成AI模型进行基准测试的指标；除此之外，企业通常会衡量模型如何处理复杂的推理和问题（例如 GLUE，SuperGLUE）以及训练数据集的准确性。 企业部署技术成熟度评估 尽管LLM带来了重要的功能，但它们还没有准备好在企业应用程序中立即部署。原因很多，特别是在幻觉，准确性 ，性能，上下文化和计算资源使用方面。所有这些因素都导致企业生成AI的性能下降。图2提供了企业采用“预训练”LLM并将其部署在ML管道中的结构的细分。 图2：企业LLM部署流程 迭代过程可能需要6个月以上的时间 （来源：ABIResearch） 预先训练的LLM或LVM使用压缩技术优化硬件模型使用企业数据微调模型测试&实验在生产中扩展AI 超过1年 在这个过程中，企业面临着许多重大挑战。 •训练数据:数据通常在业务单元之间孤立，这使得集中式模型微调具有挑战性且耗时。企业将需要经历数据重组的过程，以构建有效的数据结构，这将是 人工智能训练和部署。这进一步复杂化了使用私人客户数据进行模型训练的风险和挑战。客户的主要担忧之一是公司可能会通过利用他们的数据进行模型训练而将他们的IP泄露给竞争对手。 •优化:预训练的基础模型很大且很通用；企业应用程序很窄，因此可以使用一小部分参数有效运行。进行优化以确保有效部署LLM，以最大限度地提高准确性，同时降低资源利用率。这个过程并不新鲜;然而，用于生成AI的LLM更加复杂和复杂，使得传统技术如量化更加复杂。 具有挑战性。 •微调:这是使预先训练的LLM适应特定任务或知识的过程。此过程要求开发人员通过在特定数据集上重新训练基础模型来更新参数。具体地,使用输入和输出对来重新训练LLM以再现发送的期望行为。目标是提高特定主题或行为类型的输出的准确性。例如,对于医疗聊天机器人,微调可以针对特定术语和主题优化一般预训练的LLM的 输出。微调是耗时的，因为它需要数据准备和监督学习，通过这些数据准备和监督学习，开发人员拒绝或接受输出来调整模型。 响应。这也是昂贵的，因为这依赖于GPU来加速计算。 •模型开发人员和系统工程师之间的差距：人工智能就业的另一个瓶颈是不同流程之间的差距。通常，人工智能开发人员在构建和测试模型时没有关注现实世界的部署环境，这会在这些模型实际投入生产时产生扩展。这将延长企业中生成AI模型的实际TTV。 企业部署战略 考虑到企业和技术面临的挑战，企业生成AI部署肯定需要时间。然而，随着企业评估其采用生成式AI的战略方法，几种不同的选择肯定是开放的。表1探讨了四种部署策略；然而，随着我们前进和供应方建立更多“企业就绪”服务，ABIResearch预计会出现更多机会。 表1：企业生成型AI采用的策略 （来源：ABIResearch） 部署策略 Example 说明 阳性 否定 应用程序编程接口(API)服务 ChatGPT 通过API访问托管的第三方AI模型 •一键式部署。 •没有管理要求。 •通过API简单地集成到应用程序中。 •对版本控制和产品的控制有限。 •缺乏透明度。 •“黑匣子”没有重量控制 。 •对数据的控制有限。•安全性机密公司信息。 第三方托管服务 系统集成商(SI)、顾问 构建、部署和管理AI模型或应用程序 •不需要AI专业知识。 •管理/监控由外部处理。 •有限的日常控制或监督 。 •服务和计算资源/云的高成本。 内部开发的应用程序 利用开源或许可模型构建AI应用程序。 •完全控制AI开发流程。•控制数据和部署位置。 •人才需求高，人才获取成本高。•非常高的TTV（1 年以上）。 第三方推理平台或框架 NVIDIA推理微服务,OctoStack,英特尔AITiber平台 框架，使开发人员能够在“任何地方”构建和部署优化的开源或预训练模型。 •完全控制部署过程。 •控制数据。 •可用于支持流程的工具、软件和预优化模型。•访问预优化模型。•部署障碍低。 •依赖第三方框架。•仅限于某些软件/ 工具。 •通常限于某些硬件类型。•高成本的计算资源/ 云。 像ChatGPT这样的API服务在早期的点部署中占据了主导地位。这些工具正在跨业务组横向使用，用于简单的流程，如市场研究或搜索。 然而，企业越来越多地超越API，使用内部专业知识或第三方合作伙伴来构建应用程序，因为他们希望开发有效的长期生成AI策略。鉴于人才短缺和TTV考虑，第三方托管服务将成为下一波企业采用的特征。从中长期来看，随着更多企业利用第三方平台支持AI开发和应用程序部署，这种发展将在内部慢慢转变。 企业生成AI的预期 尽管机会比比皆是，但企业生成AI在商业上仍处于萌芽状态。目前，市场因一些内部员工的增加而陷入PoC。 尽管create- ABIResearch认为，内部用例只是一个开始；大部分价值将通过基于新产品/服务和流程自动化的面向客户的用例来创造。访问这些“高风险”用例需要企业战略改革和重大的供应方创新，以确保这些关键任务用例的高度可靠的结果。图3提供了企业生成AI用例时间表的概述。 图3：企业生成AI用例时间线 （来源：ABIResearch） 市场的大部分都在 员工增强 新产品和服务 自动化和优化 高风险：高价值有限的监 督 量身定制的开放式微调模型 从设备部署到云的数百个模型，以支持单个用例 由企业拥有和微调 低TTV，高ROI 这里 当然，企业生成AI部署并不是“一刀切”的方法。许多企业已经拥有支持部