核心观点与关键数据
- AI 应用与治理差距:尽管 88% 的组织在至少一个业务功能中使用 AI 技术,64% 的组织表示 AI 正在推动其创新,但大多数组织仍处于实验或试点阶段,只有 39% 的组织报告了 EBIT 影响(通常为个位数百分比)。在能源领域,只有 1% 的组织达到了最高级别的负责任 AI 成熟度。
- AI 编码的挑战:AI 可以生成大型且结构化维护良好的软件系统,但只有一小部分系统无需修改即可编译或运行,限制了其实际意义和端到端可用性。AI 在编写安全代码方面比人类更困难,平均显示双倍数量的安全风险违规行为。
- AI 系统的采用与质量问题:从所有分析的生产系统来看,大约 1.5% 才符合 AI 系统的定义。72% 的 AI 系统得分低于建议的构建质量阈值。许多组织难以将 AI 从实验室的实验项目过渡到可扩展、安全、合规和可维护的现实应用程序。
- AI 系统的安全风险:AI 系统引入了新的安全风险,包括输入可以被武器化(数据中毒、运行时输入攻击)、新的皇冠珠宝(训练数据和模型参数等 AI 特定资产)、以及更大的供应链(外部模型、云托管基础设施等)。
研究结论
- 治理的重要性:缺乏有效的治理和监督,只有 24% 的公用事业、电力和能源公司在 2024 年达到了有意义的 AI 成熟度。董事会需要解决 AI 是技术升级还是变革力量的不确定性,以确保组织能够负责任地受益于 AI。
- 合规的复杂性:全球 AI 法规正在出现分歧并变得复杂,欧洲正在建立基于风险的法规,而美国则采取了更放手的态度,专注于最大程度的创新。国际标准(如 ISO/IEC 5338)正在成为共同语言,以帮助组织证明控制证据。
- AI 系统工程:AI 系统与传统软件不同,它们可以学习、进化和做出自主决策。因此,需要强大的工程实践和组织内部的适当监管来管理这些风险。
- 安全应对措施:组织应基于现有的安全管理流程来构建 AI 安全风险,但董事会应认识到 AI 引入了不同的风险暴露。安全团队需要扩展现有的安全开发实践,以包括 AI 特定的考虑因素,例如威胁建模、保护训练数据、以及与 AI 工程师密切合作。
未来展望
随着 AI 系统越来越多地用于操作环境,它们将属于现有法规的范围,必须相应地进行治理。组织需要建立明确的 AI 运行限制,并能够快速检测和纠正任何问题,以确保 AI 的安全性和可靠性。