智能体AI模型治理框架

摘要

核心观点： 研报指出，自主AI（Agentic AI）作为AI的下一阶段发展，具有变革性潜力，能够通过执行动作、适应新信息以及与其他AI系统和人类交互来完成任务。自主AI系统由一个或多个AI代理组成，这些代理可以独立或协作运行。然而，自主AI也带来了新的风险，需要组织进行有效的治理。

关键数据： 研报基于对60多家公司反馈的 incorporation，更新了自主AI治理框架，并引用了多个案例研究，如OpenClaw、Dayos、OCBC、MSD、PwC、Tencent、X0PA、Stability Solutions、Cyber Sierra、Workday 和 Ant International，以展示框架在实际应用中的效果。

研究结论： 研报提出了一个包含四个维度的自主AI治理框架：

1. 事前评估和限制风险： 组织应首先评估自主AI的风险，并通过设计选择来限制代理的影响范围，例如限制对工具和系统的访问，并定义强大的身份和权限框架。
2. 确保人类的有效问责： 尽管代理可以自主行动，但人类仍然需要承担责任。组织应明确界定参与代理生命周期的不同利益相关者的责任，并采取措施确保人类监督的有效性，例如在关键检查点要求人类批准，并定期审计人类监督的有效性。
3. 实施技术控制和流程： 组织应在代理生命周期的关键阶段采用技术控制措施，例如在设计和开发过程中为新的自主AI组件（如规划和工具）添加控制措施，在部署前测试代理的安全性，并在部署后持续监控代理。
4. 赋能最终用户的责任： 组织应向最终用户提供足够的信息，以促进信任并实现负责任的代理使用。这包括透明度、教育以及培训，以确保用户了解代理的功能、潜在风险以及如何有效地监督代理。

自主AI的风险： 研报详细分析了自主AI的潜在风险，包括：

• 错误行为： 代理执行不正确的动作，例如在错误的日期安排约会或生成有缺陷的代码。
• 未经授权的行为： 代理在其权限范围之外执行动作，例如未经批准执行动作。
• 有偏见或不公平的行为： 代理执行导致不公平结果的行为，特别是在处理不同特征和人口统计群体的群体时。
• 数据泄露： 代理导致敏感数据的暴露或操纵。
• 对连接系统的干扰： 代理与连接的系统交互时，可能会对这些系统造成干扰。

多代理系统的风险： 研报还强调了多代理系统带来的额外风险，包括代理蔓延、协作失败（如误协调、冲突和串通）、不可预测性和其他涌现行为。

治理框架的应用： 研报通过案例研究展示了治理框架在实际应用中的效果，例如：

• OpenClaw： 通过避免在关键环境中部署OpenClaw，使用多个具有狭窄规则的代理，并避免在包含敏感数据的设备上安装OpenClaw，来降低风险。
• Dayos： 通过对IT工单进行风险评估，并根据风险级别分配代理的自主性，来限制风险。
• OCBC： 通过限制代理的自主性，仅在预定义的工作流程中运行，并在高风险决策点进行人工审查，来限制风险。
• MSD： 通过根据代理的自主性级别校准治理流程，并降低第三方平台的风险，来限制风险。
• PwC Singapore： 通过明确界定内部团队的责任，并强调适应性治理，来确保人类的有效问责。
• Tencent： 通过预设的安全默认值和可配置权限，实现有意义的人类监督。
• X0PA： 通过在关键阶段设置人类批准检查点，提供可解释的输出，并提供培训和入职流程，来确保人类的有效批准。
• Stability Solutions： 通过对内部和外部代理实施不同的控制措施，来降低风险。
• Cyber Sierra： 通过反射架构和结构化信息，提高代理的准确性和可靠性。
• Workday： 通过向最终用户透明地展示代理的身份、权限和推理过程，来促进信任并实现负责任的代理使用。
• Ant International： 通过允许最终用户自己设计和编写代理工作流规范，并提供内置验证步骤，来赋能最终用户的责任。

总结： 自主AI具有巨大的潜力，但也带来了新的风险。组织需要采用有效的治理框架来管理这些风险，并确保人类的有效问责。通过评估和限制风险、确保人类的有效问责、实施技术控制和流程以及赋能最终用户的责任，组织可以负责任地部署自主AI，并从中获得收益。