麦肯锡-部署具有安全性的代理人工智能：技术领导者的剧本

自主AI代理为组织带来巨大机遇，但也引入了新型风险，如数据损坏传播、链式漏洞、跨代理任务升级和无法追踪的数据泄露。麦肯锡指出，80%的组织已遭遇AI代理风险行为，包括不当数据暴露和未经授权的系统访问。

为安全部署AI代理，技术领导者需采取分层策略，更新风险治理框架，建立监督和意识机制，并实施安全控制。关键步骤包括：

1. 更新风险与治理框架：升级现有AI政策（如身份和访问管理、第三方风险管理），明确代理系统的角色和审批流程；修订风险分类法，纳入AI代理引入的新风险；建立治理机制，定义监督流程、所有权和职责、异常检测标准。

2. 评估准备情况：明确技术细节（基础模型、托管位置、数据源等）、用例关键性、数据敏感性、访问权限和交互依赖；设立有人监督的流程和负责任利益相关者；识别和分配风险管理能力。

3. 建立监督机制：建立集中管理的人工智能产品组合管理系统，确保IT风险、信息安全及合规部门监督；记录所有代理系统，避免非预期风险部署。

4. 提升安全能力：评估当前AI安全工程、测试、威胁建模等技能水平，识别能力差距，启动培训和教育活动；定义AI生命周期中的关键角色。

5. 部署期间控制：实施身份和访问管理（IAM），监控和保障模型和资源；定义授权用户和条件，增加输入/输出护栏；确保代理间通信安全、可追溯。

6. 应急计划：为关键代理制定应急计划，模拟最坏情况场景；部署终止机制和回退方案；在自包含环境中部署代理，便于隔离。

7. 持续监控与评估：建立可追溯机制，记录代理行为和决策过程；定期评估代理目标一致性；确保终止机制和回退方案可用。

麦肯锡强调，安全不能是事后考虑，组织需在业务赋能与建立结构化风险管理方法间取得平衡，主动减轻风险。CIO、CRO和CISO应与业务部门讨论AI代理采纳现状，建立必要护栏，确保未来成功扩展。