管理生成 AI 的风险

战略与公司财务和风险与弹性实践 管理生成AI的风险 转型技术将要求组织的每个成员都是风险专业人士。 2024年6月 生成AI(generativeAI)是一项引起政府、公众和商界领袖注意的进步。但这给负责管理geAI现有和潜在威胁的专业人员带来了独特的挑战。在这一集内部战略室播客中，麦肯锡风险与弹性实践的负责人IdaKristese和企业风险管理的领导者OliverBeva与战略与全球营销和传播总监SeaBrow进行了交谈。企业融资实践，关于企业领导者应如何应对技术的快速发展影响。 这是他们谈话的编辑记录。有关重要的战略问题的更多讨论，请在您首选的播客平台上关注该系列。 肖恩·布朗：鉴于这项技术是多么的新，令人惊讶的是 ，我们已经看到了多少进化以及开发和部署了多少。但是与所有新技术一样，存在风险-这种技术可能比其他技术更多。艾达，你发现你的客户广泛接受了一代人工智能吗 ？ IdaKristensen:我们看到早期采用者非常兴奋。我们也看到许多人对此持怀疑态度，并说：“啊，你知道，也许我们会等这个结果。”在麦肯锡，我们非常喜欢说：“GenAI将继续存在。它为各行各业以及企业所做的几乎每个方面提供了令人难以置信的战略机会。” Thereisapathtoextractingamazingbenefits.Wealsobelievesthattheideaofwaitthisoneoutisnoteverable.Thisisbecomingastrategicnecessary.Givenwearetalkingaboutthisfroma 从风险角度来看，另一种说法是，与不潜入相关的战略风险很大。 也就是说，部署generAI存在一些真正的风险。为了使组织成功，它需要防御性和进攻性战略。 肖恩·布朗：那么，奥利弗，考虑到所有这些风险，公司需要注意的监管动态是什么？ 奥利弗·贝文:重要的是要了解不同的司法管辖区如何采取不同的方法来思考通用人工智能的风险，以及他们想要如何治理和处理它们的整体管理。 这与我们看到的重要不同 在数据隐私的早期。对于数据隐私，有一种感觉是 GDPR1《通用数据保护条例》真正引领了潮流。 我们的许多客户已经将他们最初的数据隐私框架调整为GDPR，然后考虑使用GDPR作为基础在全球范围内进行调整。 我们在GDPR的步骤中看到了很多立法。在加利福尼亚州发生的一些事情也直接依赖于GDPR。我们的感觉是，这将是更棘手的事情。 许多公共部门也清楚地知道，有多少价值受到威胁，人工智能可以直接影响公民。显然，风险涉及数据隐私，网络安全和深度假货的同意，这可能对选举和其他公众事件产生重大影响。 这就是为什么许多公众参与者采取了更多的正面方法来思考generAI，反过来，也考虑了组织需要的回应。如果你在运营 1《通用数据保护条例》是欧盟和欧洲经济区对信息隐私的规定。 跨多个司法管辖区并考虑监管变化。适应并将这些响应嵌入到您的方法中将非常重要。 肖恩·布朗：GenAI与AI的其他一些进展（包括机器学习）之间的风险和监管环境有何不同？ 奥利弗·贝文:我的观点是，分析型AI，即在采用genAI之前机器学习背后的AI发展，基本上固定在两个主要地方。 一个是数据隐私，所以这是围绕“这些模型如何使用数据 ？你如何组合数据来进行综合分析或增加输出的潜力？” 第二个是关于模型结构中的公平性问题。不幸的是，我们都知道，这些模型往往会有非常不同的结果，这取决于你是在看不同的肤色还是不同的性别。分析人工智能引发了许多关注，尤其是在美国，围绕公平住房立法和优化金融服务中的信贷决策。 现在，例如，人们越来越意识到来自可解释性的挑战。 显然，有可能深度伪造和恶意使用GeneAI，因为该技术可以创建令人信服和现实的个人身份或企业身份的传真 ，这也给政府带来了巨大的声誉风险和挑战。 IdaKristensen:这是一个快速的演变，但它仍然是已经存在了很长时间的风险的演变，有几个曲折。 公平方面：在大多数行业中，解决方案的一部分一直在为模型的工作原理创造真正的透明度。如果您有一个更传统的分析模型，无论您是否对其进行监管，都可以确切地解释发生了什么。 这就是你应该对这个模型感到满意的部分原因。 这是一个非常不同的游戏，因为老实说，这些模型的可解释性并不完全存在。虽然风险可能是相同的，但看看如何 不同的公司和监管机构将对无法打开和剖析的东西感到满意-我们必须依靠其他指标来适应公平。 肖恩·布朗：您是否看到政府和监管机构在风险方面关注的任何共同领域？还是主要是可解释性？ 奥利弗·贝文:最重要的是更深入地了解这些模型是如何工作的，以及这些参与者将如何相信这些模型正在产生可以用某种方式解释的结果。 解释能力是genAI模型以及采购的基础挑战。现在有很多关于genAI上的水印的讨论。你能告诉什么时候发生了 由AI产生的还是由我们传统的创作过程产生的？ 这将成为知识产权挑战。我怀疑，鉴于即将举行的大量选举，公共部门将大量关注这些动态。考虑公众对这些系统的信任以及公众使用和参与它们的意愿也非常重要。 IdaKristensen:没有人会对我们所说的监管仍处于早期阶段感到震惊。我们预计还会有更多的事情发生，包括针对受监管行业的特定部门监管。毫无疑问，金融服务将面临更具体的监管。因此，考虑主题是正确的方法。尝试优化已经存在的东西将是一个非常短暂的策略。 肖恩·布朗：对于那些已经在这方面工作了一段时间的公司来说，他们遵循什么原则来确保他们安全地使用GenAI ？ IdaKristensen:首先，不要让机器自己疯狂运行。这其中总是涉及人类方面。您将模型的结果用作人类决策的输入 ，而不是最终决策。 好消息是，GeAI使得为公平性进行大量快速测试变得容易得多。GeAI可以成为一个真正的好来源-也可以建立强大的风险管理能力。也许与大多数组织已经在进行的负责任的AI程序相比，最大的变化是我们已经讨论过的透明度和可解释性，然后进行监控和评估。 随着时间的推移，关注genAI的发展是另一回事。因此 ，我们看到我们与投资监控genAI的客户一起工作，并问：“好吧，我们可以放置哪些额外的花哨和支票来适应出现的情况？” 肖恩·布朗：还有其他风险吗？公司应该如何看待一代 AI可能出现的全部风险？ IdaKristensen:数据隐私方面和质量。例如，我们在麦肯锡所做的一件事是，我们创建了一个包含我们所有专有知识的网络[数据库]，并将其用作我们某些应用程序的训练数据。这意味着我们可以控制输入数据的质量，这给了我们很大的安慰。 由于深假货和骗局，恶意使用更容易引起人们的注意。例如，考虑一个恶意演员，他可能会冒充你，并写一封电子邮件，要求你的叔叔明天给他们电汇1000美元。他们可以写这些电子邮件；他们可以将它们翻译成每种语言。我们都已经意识到我们的个人风险，并习惯了垃圾邮件。曾经有明显的迹象，对吗？糟糕的语法，糟糕的语言，以及一些不太合理的事情。但是现在使用geAI创建高质量的垃圾邮件要容易得多。 最后，还有战略风险和第三方风险。战略风险是关于你在哪里玩，以及你如何在竞争中放置自己，但它也有更广泛的社会影响的所有方面。我们都知道genAI使用了相当多的计算能力。 这与您的ESG[环境、社会和治理]承诺有何关系？也有更广泛的就业影响。 它对劳动力有什么影响？你如何看待你对员工的承诺以及generAI将带来的转变？正如我们提到的，这不是一项会夺走净工作的技术，而是一项会非常戏剧性地改变工作的技术。 这些是需要解决的真正问题。 肖恩·布朗：现在，如果我理解正确的话，你在查询中输入的内容实际上可以提供模型。这是否意味着你需要监控你的员工在问genAI什么？ IdaKristensen:是的，这可能很可怕，对吧？任何被回答的提示都会成为数据的一部分。所以大多数公司都应该担心他们的员工在做什么。 你必须教育你的员工。你不能只依赖规则。你必须确保你的员工理解他们输入系统的任何提示的后果。 肖恩·布朗：我想更多地谈谈风险管理方法模型应该是什么样子来涵盖所有这些新颖的风险。 奥利弗·贝文:我们基本上有四类,一类是原则和保障,二类是框架,三类是部署和治理,四类是风险缓释和监控 。 在原则和护栏方面，作为一个执行团队，在你考虑细分你的用例时，就如何以及在哪里使用GeneAI进行一次诚实的对话是非常重要的。 出现的一些例子通常是考虑到你想要使用GeneAI来个性化营销的程度——例如，你希望GeneAI在多大程度上用于绩效评估或直接与员工互动。 关于框架，Ida已经谈到了分类法，所以我不会谈论这个，除了注意 有不同的口味的风险和不同的方式来思考它们。拥有对你的组织有效的东西是非常有价值的，因为它将帮助你向你的员工传达他们应该如何思考这个问题。 在风险识别上，你必须掌握你将要面临的风险类型。我们的许多客户正在做的是从低风险、更容易实施的用例开始 。这让他们有时间尝试他们提出的治理标准。它允许他们有时间通过风险评估来运行用例，以了解他们从用例中暴露的典型风险类型。 肖恩·布朗：我很想更好地理解公司应该如何减轻外部风险。让我们来看看安全威胁：他们应该采取什么样的措施？ IdaKristensen:这是一个久经考验的风险管理技术的组合 ，建立在已经存在的基础上，可能会对其中的一些进行涡轮增压，然后在技巧中添加更多工具。 员工真正需要了解genAI的风险101才能保持警惕，并识别和发现事情发生的时间。让人们在帐篷下。 安全是您必须与geAI对抗的领域。现在，大多数组织都在努力解决这个问题，并说：“我们如何使用GeeralAI工具来增强我们的网络防御能力，增强我们进行引脚测试的方式，我们对不同安全层的思考方式，并确保我们的检测时间更快？”检测的时间需要更快，从检测到关闭的时间需要更快。这将是非常关键的。 肖恩·布朗：Ida,你说你可以用AI打AI,你怎么可以用genAI找deepfakes,比如说我可以设想一个邮件 看起来和读起来像是来自首席执行官，指导你采取某些步骤。这开始看起来像是你可能在电影中看到的东西。 IdaKristensen:其中一些将是过程更改。正如我提到的，你可能会说，“嘿，我们已经习惯了，如果通过电子邮件询问，你就去做。” 你，公司的政策是你永远不会对语音邮件采取行动，除非你给别人回电话，你得到验证。 您可以实施一些控制和监督，但是，这是我们今天谈论的主题，永远都不够。说实话。控制总是必须与员工的意识齐头并进。您必须确保您有人说：“这有点奇怪。那家伙永远不会给我留下语音信箱。” 风险管理是每个人的工作。它需要嵌入我们如何合作的结构和文化中。 肖恩·布朗：您看到客户在扩展内部使用AI时采用的典型做法是什么？ 奥利弗·贝文:过度依赖一小群专家。显然，在开始构建用例时，您的内部功能可能会受到限制。你也会有一群助手或非常兴奋的人，他们想花很多时间在geerAI上工作。当你扩展geerAI时，这一小批专家将迅速不知所措。这将产生很多摩擦，很多挫败感，并将减缓一切。 坦率地说，即使在早期阶段，我们也不建议完全依赖供应商。大型语言模型提供商和其他第三方生态系统正在做的事情存在很大差异。你需要对GeeAI的勤奋负责，你需要考虑你可以在内部做些什么，而不仅仅是他们提供的开箱即用的安全解决方案。同样，仅有技术缓解策略通常是不够的。 关于不同的控制和缓解措施的执行情况，我们仍在学习很多。所以你需要一些人为因素的叠加，包括让人在循环中 。尽快整合风险和发展小组。鉴于GeeAI的演变和动态，请注意，这些将随着时间的推移而演变和变化，您需要有方法来跟踪这种演变，以实现成功和可持续的扩展。 肖恩·布朗：在我们结束之前有什么想法吗？ IdaKristensen:是的。如果在我们对风险的讨论中，它被认为是世界末日，我们深表歉意。在我