代理型人工智能系统安全和负责的做法
定义
代理型人工智能系统（AI）能够在有限直接监督下追求复杂目标，具有广泛的应用价值，但也存在潜在危害风险。本文定义了代理型AI系统及其生命周期中的各方，并强调就这些各方明确一套基线责任和安全最佳实践的重要性。
代理型AI系统的特点
- 适应性： 系统对新奇或意外情况的适应和反应能力。
- 目标复杂性： AI系统实现目标的挑战程度。
- 环境复杂性： 系统在何种复杂的环境中实现目标。
- 独立执行： 在有限人为干预或监督下，系统可靠实现目标的能力。
AI代理生命周期中的人类缔约方
- 模型开发者： 开发驱动智能系统运行的AI模型。
- 系统部署者： 构建并运营更大系统，包括调用模型、路由工具和提供用户界面。
- 用户： 使用特定实例的代理型AI系统，并为其提供应追求的具体目标。
机构AI系统的潜在益处
作为有用财产
- 提高用户生活中以更少的努力完成更多事情的能力。
- 完成超出用户技能范围的任务。
- 通过使用户部分或完全卸载他们已经知道如何完成的任务来受益用户。
作为影响乘数
- AI可能已经构成了通用技术，广泛部署的高度先进且具有自主性的AI系统甚至有可能大幅提高经济生产率。
- AI还可能加速在各种非经济的社会福祉指标上的进步。
保持机构AI系统安全和负责的实践
本文提出了七项初步的安全和问责操作实践，希望这些实践可以成为达成共识的最佳基线实践的基础模块。
1. 评估任务适用性
系统部署者或用户应全面评估某个特定的人工智能模型及其相关的代理人工智能系统是否适用于其预期用途。
2. 约束行动空间并要求批准
对于对用户来说过于重要的决策，即使只有一丝机会这些决策可能会被错误执行，也应要求用户主动授权。
3. 设置代理的默认行为
系统部署者可以通过确保强大的网络控制来限制代理与外部世界的交互，并设置代理在无人审查和重新授权前定期“超时”。
4. 代理活动的可读性
模型开发者和系统部署者可能需要构建使代理意识到自身对用户意图目标不确定性特性的功能，并向用户揭示代理人的“思维过程”。
5. 自动监控
用户或系统部署者可以设置一个第二“监控”AI系统，该系统自动审查主要代理系统的推理和行动，以确保这些行为符合用户目标下的预期。
6. 归因性
为每个有代理权的AI实例分配一个独特的标识符，包含有关代理用户主体的信息，以实现可靠的问责制。
7. 中断能力和保持控制权
系统部署者需要确保用户能够随时激活优雅的关闭程序以终止其代理的操作，并记录相关信息以便确定他们托管的系统是否造成了重大伤害。
来自机构AI系统的间接影响
技术采纳竞赛
代理人在竞争环境中可能带来的优势，例如私营企业或政府之间的竞争，可能会面临巨大的压力，在充分评估这些系统可靠性与可信度之前就采用代理型AI系统。
劳动力流离失所和长期收养率
代理型人工智能系统可能会对工人、工作岗位和生产率产生更为实质性的影响，导致大量工人被替代，或技能变得不再稀缺。
转换国防平衡
代理型AI系统可能使网络攻击自动化，从而显著增加攻击的数量，但网络防御者的责任如监控则难以自动化，这可能会导致网络安全防御变得不可行。
相关故障
代理型AI系统可能因其代理能力而更容易受到相关失败的影响，即多个相关系统以类似的方式出现故障。
结论
日益强大的自主人工智能系统即将出现，社会可能很快需要采取重大措施确保这些系统的安全可靠运行，并减轻与代理采用相关的更大间接风险。相关方应当密切注意识别哪些均衡假设不再成立，并且要你采取积极的政策措施以确保日益自主的人工智能系统的益处能够广泛分享。
