以速度和安全性实施生成 AI

以速度和安全性实施生成AI 生成的人工智能既带来了风险，也带来了机遇。这是一个路线图，可以 减轻前者的负担，同时从第一天起就开始捕捉后者。 本文是OliverBevan，MichaelChui，IdaKristensen，BrittanyPresten和LareinaYee的合作成果，代表了麦肯锡的风险与弹性实践和麦肯锡的QuantumBlack，AI的观点。 March2024 生成AI(geAI)为公司提供了千载难逢的机会，有可能在创新 、增长和生产力方面产生变革性影响。该技术现在可以生成可信的软件代码、文本、语音、高保真图像和交互式视频。它已经通过晶体结构确定了数百万个新材料的潜力，甚至开发了分子模型，这些模型可以作为寻找治疗先前未治疗疾病的基础。 麦肯锡的研究估计，genAI有可能为全球经济增加4.4万亿美元的经济价值，同时将所有AI的影响力提高15％至40％。1尽管许多企业领导者决心抓住这一价值，但人们越来越认识到，人工智能的机遇伴随着巨大的风险。在最近对100多家年收入超过5000万美元的组织进行的快速调查中，麦肯锡发现，63%的受访者将人工智能的实施描述为“高”或“非常高”的优先事项。2然而，这些受访者中有91％的人没有“非常准备”这样做 以负责任的方式。 这种不安是可以理解的。与GenAI相关的风险范围从潜在的训练数据中嵌入的不准确的输出和偏见到可能的大规模错误信息和对政治和个人福祉的恶意影响。在这两个方面也有更广泛的辩论 开发AI的可能性和可取性。这些问题可能会破坏GeneAI的明智部署，可能会导致公司暂停实验，直到更好地理解风险-甚至因为担心无法管理这些问题的新颖性和复杂性而降低技术的优先级。 然而，通过将经过验证的风险管理方法应用于GeAI，有可能以负责任的速度采取行动，以良好的速度捕捉技术的价值 。这样做还将允许公司在围绕人工智能的监管环境不断发展的同时有效运作，例如拜登总统关于一代人工智能开发和使用的行政命令以及欧盟人工智能法案(参见侧栏，“美国开始监管人工智能”)。此外，大多数组织可能会看到ge的使用 。 美国采取行动规范AI 2023年10月30日,拜登政府发布了一份期待已久的行政命令，旨在解决与经济、国家安全和社会领域人工智能发展相关的问题。该命令确立了原则，要求联邦机构使用人工智能测试方法，编纂了政府对私人人工智能发展的监督，并概述了人工智能对国家安全和外交政策的影响: —整体AI治理。该命令为人工智能治理建立了一—私营部门问责制。该命令要求参与人工智能的—跨部门影响。该命令涉及受AI影响的各个领个全面的框架，强调道德、安全和保障。它私营公司遵守行业标准，报告合规性，域，包括关键基础设施，网络安全，教育解决了人工智能行业负责任的创新、协作和竞并实施最佳做法。这包括满足关于透，医疗保健，国家安全和运输。 争的重要性。明度和问责制的具体准则，特别是对它促进机构间合作，以负责任地和安全地于两用基础模型和大规模计算集群。在这些部门整合人工智能，协调政府和行 业的努力 为了社会利益。 1“生成AI的经济潜力：下一个生产力前沿”，麦肯锡，2023年6月14日。 2未公布的数据来自麦肯锡的调查结果。 AI增加“入站”威胁(可能影响的风险 组织，无论他们是否部署genAI)，特别是在欺诈和网络领域(早期迹象表明，genAI将能够击败标准的反欺诈生物识别检查3).Building 适合目的的风险管理将有助于防范这些威胁。 实际上，寻求解决GenAI风险的企业应采取以下四个步骤： 1.启动冲刺(sprint)以了解与genAI相关的入站风险。 2.全面了解跨领域和用例的与gener-AI相关的风险的重要性，并构建一系列选项（包括技术和非技术措施 ）来管理风险。 3.建立一个治理结构，平衡专业知识和监督与支持快速决策的能力，尽可能调整现有结构。 4.将治理结构嵌入运营模型中，该模型利用整个组织的专业知识，并包括针对最终用户的适当培训。 如何实施这些步骤的细节以及使其有效所需的变化程度将因组织的传统AI愿望和性质而异。例如，它可能希望成为基础模型的制造商，定制和缩放基础模型的整形器，或者通过很少或没有定制的现成应用程序（例如，标准办公生产力软件）采用基础模型的接受者。4 本文提供了一个蓝图，用于开发负责任地实施generAI的方法。 遵循这些步骤可以帮助组织快速扩展技术并获取其优势，同时最大限度地减少潜在的缺点。 了解和应对入站风险 根据我们的经验，包括通过构建麦肯锡自己的AI应用程序，与AI相关的风险可以分为八个主要类别（图表1） 。这些类别既考虑了入站风险，也考虑了采用新一代AI工具和应用程序直接导致的风险。每个公司都应该开发这个核心分类法的一些版本，以支持对实施geAI所产生的风险的理解和沟通。 大多数组织可能会看到使用GeneAI会增加“入站”威胁，特别是在欺诈和网络领域。 3安全智能，“人工智能可能很快就会击败生物识别安全，甚至面部识别软件，”MikeElgan的博客文章，2019年1月31日。 4有关更多信息，请参阅“技术与生成AI的世代时刻：CIO和CTO指南”，麦肯锡，2023年7月11日。 附件1 生成式AI风险的八个基本类别中有一半适用于所有组织，无论其部署了相关用例。 风险类别Description入站GenAI1收养 公平性受损 知识产权(IP)侵权数据隐私和 质量 安全威胁恶意使用 性能和“可解释性” 战略第三方 1生成AI。 麦肯锡公司 由于没有代表性的训练数据或模型表现或人工智能生成的内容被人为创建而造成的算法偏差 侵犯受版权保护或受法律保护的材料，无意中将IP泄漏到公共领域，或两者兼而有之 未经授权使用或披露个人或敏感信息，或使用不完整或不准确的数据进行模型训练 恶意或有害的AI生成的内容（例如，虚假/深度伪造，诈骗/网络钓鱼，仇恨言论） GenAI系统中的漏洞（例如，有效载荷拆分以绕过安全过滤器，开源模型的可操作性） 无法适当地解释模型输出或模型不准确（例如，事实上不正确或过时的答案，幻觉） 不符合标准或法规的风险、社会风险和声誉风险 与使用第三方AI工具相关的风险（例如，公共模型使用的专有数据） 决定如何应对入站风险是 afocusformanyexecutiveteamsandboard.Thisdecisionshouldserveasafoundationforhow 一个组织向其员工和利益相关者传达有关genAI的信息 。它还应该告知用例的方法。 我们从采用GenAI中看到了入境风险的四个主要来源 ： —安全威胁，是由于启用了Gen-AI的恶意软件的攻击数量和复杂性增加所致 —第三方风险，由挑战导致 了解第三方可能在何处以及如何部署GenAI，创造潜在的未知风险 —恶意使用，原因是不良行为者可能会制造令人信服的公司代表或品牌假货，从而导致严重的声誉损害 -知识产权（IP）侵权，由于IP（例如图像，音乐和文本）被刮擦到基础大型语言模型的训练引擎中，并使使用该技术的任何人都可以访问 大多数组织将受益于重点冲刺，以调查geerAI如何改变其外部环境，有两个主要目标。首先是了解对入站风险的潜在风险，这些风险基于组织的风险状况（例如，有多少第三方可以访问敏感或机密数据，这些数据需要限制训练外部geerAI模型）。第二个目标是了解控制环境的成熟度和就绪性-组织具有的技术和非技术能力。 到位，以预防、检测和最终应对入境风险。这些包括网络和欺诈防御，第三方尽职调查，以确定关键第三方可能在哪里部署genAI， 以及限制用于训练大型语言模型的引擎对公司IP的刮擦的能力。 这些努力的结果应该是了解组织面临最大的潜在入境风险的地方，以及其当前防御系统的成熟度和准备情况。进行了这项练习后，组织应该有一个清晰的路线图，说明在哪里加强防御，以及这些努力在潜在风险缓解方面的潜在投资回报率。 考虑到AI基础技术及其应用的不断发展，组织将需要重复努力，以一定的规律性来识别他们的暴露。对于大多数组织来说，至少每半年刷新一次这项练习将是重要的 ，直到变化的步伐放缓，控制环境和防御已经成熟。 TetheringPrometheus：管理采用新一代AI 所产生的风险 有雄心部署GeneAI的组织将需要进行额外的持续努力，以了解和管理 技术的采用。这可能需要投入时间和资源，并改变工作方式。然而，如果组织要从geAI中获得长期、可持续和变革性的利益，这是至关重要的。失误和失败可能会削弱高管、员工和客户的信心，并引发对产生有限风险但也不太可能利用该技术真正潜力的超用户用例的野心。 希望为GeeralAI部署高潜力用例以推动生产力和创新;提供更好，更一致的客户服务;并提高营销和销售创造力的组织必须应对负责任实施的挑战。这些用例具有不同的风险概况，既反映了技术本身的性质，也反映了有关用例细节的公司特定上下文(例如，将AI聊天机器人部署到某些风险人群。 与B2B部署的风险状况截然不同)(图表2)。 附件2 不同的生成AI用例与不同类型的风险相关联。 生成的AI用例公平性受损 IP1 侵权 数据隐私和质量 恶意使用安全威胁绩效和“可解释性”战略 主要风险 客户旅程（例如，用于客户服务的聊天机器人）简明（例如，生成内容摘要）编码(例如，生成或调试代码)创意内容(例如，开发营销内容) 1知识产权。 麦肯锡公司 识别不同用例的风险 组织部署geeAI用例的基本出发点是在关键风险类别中映射与每个案例相关的潜在风险，以评估潜在风险的严重程度。例如，支持客户旅程的用例，例如支持Ge-AI的客户服务聊天机器人，可能会增加风险，例如跨群体的偏见和不公平对待（例如，按性别和种族），用户输入敏感信息的隐私问题，以及模型幻觉或过时信息的不准确风险（图表3）。 在进行此分析时，重要的是要制定一个指标来校准各类别高风险与中等风险的预期。否则，组织可能会遇到分歧，而不是客观因素，这更多地是由个人对风险水平的舒适度驱动的。以数据隐私为例，我们通常认为高风险的例子需要个人或敏感信息来准确训练模型（或者用户在与技术交互时输入个人信息的可能性更高）。低风险用例不会表现出这些特征。 附件3 部署生成式AI用例的组织可以创建一个热图，对各种风险类别的潜在严重程度进行排名。 风险严重程度低中高 IP1 侵权 恶意使用性能和可解释性第三方 客户旅程 受损使用case公平性 数据隐私和质量 安全威胁 战略 提供个性化建议的AI财务顾问面向企业的AI机器人(例如，中小企业2)跟踪目标 简明 挖掘财务报告以获取重要见解通过汇总/解释付款文档来检测/防止欺诈 编码 模型风险管理（如测试、审查、文档）通过自动化编码和测试缩短技术交付时间 创意内容 个性化内容产品（例如，信用卡优惠）自动起草合同 1知识产权。 2中小企业。 麦肯锡公司 使用这种逻辑，开发支持顾问提供量身定制的财务建议的应用程序在隐私风险暴露方面的排名往往高于自动化基本合同模板的应用程序。 重要的是，负责用例的主管领导对与其相关的风险的初步评估（作为产品经理在有效运营模型中的角色的一部分 ）。这促进了对潜在风险的适当认识，并在用例被批准用于最终开发时对其进行管理。此外，跨职能小组，包括业务负责人以及法律和合规职能部门的成员，应审查和验证所有用例的风险评估。 在做出有关用例优先级划分的决策时，使用结果作为输入 。 考虑在每个接触点管理风险的选项 一旦组织映射了与Gen-AI相关的风险，它必须制定策略来通过结合缓解和稳健治理来管理风险敞口。许多（但不是全部）缓解措施本质上是技术层面的，可以在整个 流程的生命周期。重要的是，这些控件并不都需要嵌入到底层基础模型本身中（许多组织都无法访问）。有些可以 是在本地环境中构建的覆盖，就像由 人力资源部门对员工福利进行实地查询(图表4)。 在该用例中，在查询的整个