在 AI 时代保护关键基础设施

研讨会报告 在AI时代保护关键基础设施 *研讨会组织者 2024年10月 这个研讨会和最终报告的编制得到了微软公司的慷慨资助。本文件中的观点仅反映作者的意见，并不一定代表美国政府、微软公司或与作者可能有关联的任何机构、组织或实体的观点。 提及任何特定的商业产品、过程或服务（包括通过品牌名称、商标、制造商或其他方式 ），并不构成或暗示美国政府（包括美国财政部、国土安全部、网络安全与基础设施安全局，以及作者可能关联的其他机构、组织或实体）的endorsement、推荐或偏好。 执行摘要 随着人工智能能力的不断改进，关键基础设施（CI）运营商和提供商寻求在其企业中整合新的AI系统；然而，这些能力伴随着相应的风险和益处。AI的采用可能会导致更强大的系统、业务运营的改进以及检测和应对网络威胁的更好工具。同时，AI系统也会引入新的网络威胁，这些威胁需要CI提供商应对。去年的AI行政命令要求各个部门风险管理机构（SRMAs）“评估并提供关于在关键基础设施领域使用AI可能带来的风险的评估，包括部署AI可能使关键基础设施系统更容易遭受重大故障、物理攻击和网络攻击的方式 。” 尽管近期发布了执行命令，AI在关键基础设施中的使用并非新现象。长期以来，表现优秀的AI工具在预测和异常检测方面已被用于网络安全防御及其他商业活动。例如，提供商早已依赖由AI驱动的商业信息技术解决方案来检测恶意活动。发生变化的是，新的生成式AI技术变得更加先进，并为CI运营商提供了新的机会。潜在用途包括更强大的聊天机器人进行客户互动、增强的情报综合与优先级排序、更快的代码生产流程，以及最近出现的可以根据用户提示执行动作的AI代理。 工业和关键基础设施（CI）运营商及相关部门正试图navig在快速变化且充满不确定性的环境中导航。幸运的是，我们可以借鉴网络安全领域的经验。几年前，网络连接技术的进步为CI运营商提供了远程监控和操作众多系统的途径。然而，这也为恶意行为者创造了新的攻击途径。过去的经验教训可以有助于组织如何应对人工智能系统的集成。今天，风险可能源自两个方面：一是来自CI内部部署的人工智能系统自身的漏洞或故障，二是恶意行为者利用人工智能系统攻击CI领域。 这份工作坊报告提供了管理关键基础设施中人工智能使用的技术缓解措施和政策建议 。本次讨论中产生了若干发现和建议。 ●不同行业内外的CI提供商之间资源差距对AIAdoption和AI相关风险的管理前景产生重大影响。需要进一步的计划来支持资源较少的提供商 与AI相关的帮助包括财务资源、训练模型的数据、必要的人才和工作人员、沟通论坛以及在更广泛的AI讨论中发声的权利。扩大正式和非正式互助手段可以帮助缩小差距。这些举措通过在组织之间共享资源、人才和知识来提升整个行业 的安全性和韧性。它们包括正式项目，如在事件或紧急情况响应中共享人员，以及非正式努力，如制定最佳实践或审核产品和服务。 ●有将AI风险管理整合到现有企业风险管理实践中的公认需求；然而，在当前的企业结构中，AI风险的所有权可能存在模糊性。一位参与者将这种风险比喻为在高管层之间传递的“烫手山芋”。需要在公司结构内明确指定AI风险的责任。 ●人工智能安全与人工智能安全之间的模糊界限也对落实人工智能风险管理构成了重大挑战。组织往往不确定如何将国家标准与技术研究院最近发布的AI风险管理框架与网络安全框架相结合应用。需要进一步指导如何实施统一的AI风险方法.根据具体情况调整并优先考虑这些建议，有助于使其更具可访问性，特别是对于资源 较少的提供者以及那些有特定的、往往是定制化的需求的机构。 ●尽管已经建立了网络安全信息共享的成熟渠道，但在人工智能领域却缺乏类似的机制。SRAs应利用现有平台（如信息共享与分析中心）进行人工智能安全信息分享 。.共享AI安全问题、缓解措施和最佳实践也非常重要，但目前尚不清楚如何实现这 一点。明确什么是AI事件、哪些事件需要报告、报告的阈值以及现有的网络事件报告渠道是否足够将很有价值。为了促进跨行业对涵盖AI安全与安全性的综合可见性和分析，需要：部门应该考虑建立一个集中的人工智能安全和安保分析中心。 ●管理cyber和AI风险的能力相似但不完全相同。实施AI系统将需要许多CI提 供商目前不具备的专业知识。因此，供应商和运营商应积极提高现有员工的技能并寻找机会对员工进行交叉培训 相关的网络安全技能，以有效解决人工智能和网络相关风险的范围。 ●生成式AI引入了新的问题，这些问题是更具管理难度的，并且值得进行密切审查 。CI提供商应在采用newerAI技术之前，请保持谨慎并保持充分了解，特别是对于敏感或关键任务。评估一个组织是否准备好采用这些系统是至关重要的第一步。 目录 执行摘要............................................................................................................................ ....2引言............................................................................................................................ ...................6背景............................................................................................................. ..................................7研究方法....................................................................................... ......................................7关键基础设施当前及未来的人工智能应用................................ ...........................................8图1.各产业中关键基础设施人工智能应用场景示例............ .......................................10与人工智能相关的风险、机遇和障碍.................................... ................................................11风险.............................................................................. .......................................................................11机遇....................................................... ..............................................................................................12采用人工智能的障碍....... .........................................................................................................13观察结果............. ............................................................................................................................14不同产业之间✁差异以及内部差异.14 人工智能与网络安全之间的模糊界限................................................................................ 16人工智能风险管理挑战................................................................................................. ............17分散的指导和监管建议..................................................................................... ....................18建议.......................................................................................................... .............................................21横向建议......................................................................... ....................................................................21负责的政府部门和机构............................. ...............................................................................23产业领域........................................ .................................................................................................25组织............................. .......................................................................................................................25关键基础 设施运营商.26 人工智能开发者................................................................................................................. .......26作者....................................................................................................................... .............................28附录A：背景研究资料来源.............................................................. .......................................29政府/国际政府间组织............................................................ ..............................................