AI 安全和自动化偏差

人在循环的缺点 作者 Lauren KahnEmelia S. Probasco Ronnie Kinoshita 执行摘要 自动化偏见是指个体过度依赖自动化系统的倾向。当个人和组织更倾向于相信系统输出或建议，即使面对矛盾的信息时也是如此，这可能会导致事故、错误及其他不利后果的风险增加。 人工智能自动化偏见可能危及成功使用通过削弱用户对AI系统进行有意义控制的能力。随着AI 系统的普及，这些系统以各种方式失败或出错的事件也越来越多，而人类用户未能纠正或识别这些行为。 本研究提供了一个三层框架来理解自动化偏差，通过考察用户、技术设计和组织在这三者中各自的作用对自动化偏差的影响。它分别呈现了这些因素的案例研究，然后提出相应的教训和建议。 建议 ： ● 组织使用自治系统的地方 ，设计并定期审核符合技术能力和组织优先级的组织政策。. 随着技术的变化，更新政策和流程以最好地利用新能力并减轻新型风险。如果组织目标与管理能力使用方式的政策之间存在不匹配，自动化偏差和不良结果的可能性将更高。 在这三个案例研究中，明显可以看出，“人工在环中”（human-in-the-loop）无法防止所有事故或错误。然而，适当校准技术性和人为的安全措施，为降低AI系统使用风险提供了最佳机会。 目录 执行摘要 .......................................................................................................................................1 引言 ..................................................................................................................................................5 什么是自动化偏差？....................................................................................................................6 理解和减轻自动化偏差的框架 .............................................................................................8 案例研究 .........................................................................................................................................10 案例研究 1：用户个性化如何导致自动化偏差................................................................10 特斯拉通往自主驾驶的道路................................................................................................10 驾驶途中：特斯拉的自动驾驶与人的因素........................................................................11 案例研究 2：技术设计因素如何引发自动化偏差................................................................13 人机界面：空客与波音的设计理念......................................................................................14 波音事件.........................................................................................................................................16 空客事件.........................................................................................................................................17案例研究 3：组织如何制度化自动化偏差............................................................................18 不同组织对自动化的不同方法：陆军 vs. 海军................................................................19 帕特里夏：系统倾向.................................................................................................................21 AEGIS：人类倾向 ......................................................................................................................22 结论 ..................................................................................................................................................24 作者 ....................................................................................................................................................26 致谢 ...................................................................................................................................................26 注释 ....................................................................................................................................................27 Introduction 在关于人工智能的当代讨论中，一个关键但经常被忽视的因素是自动化偏见——人类用户倾向于过度依赖AI系统。如果不加以解决，自动化偏见不仅已经并且可能会对AI和自主系统用户以及无辜旁观者造成伤害，涉及从错误的法律指控到死亡的各种案例。因此，自动化偏见在AI的实际应用中，尤其是在国家安全部署和军事操作等高风险情境下，构成了一个重大的挑战。 成功的AI系统部署依赖于AI系统与其操作人员之间复杂而相互依存的关系。解决自动化偏差是确保AI成功、伦理且安全部署的必要条件，尤其是在过度依赖或误用可能导致最严重后果的情况下。.随着社会将AI集成到系统中，决策者因此需要准备好减轻自动化偏差带来的风险。 自动化偏差可以在用户、技术设计和组织层面表现出来并被拦截。我们提供了三个案例研究，解释了在这些每个层面的因素如何使自动化偏差更可能发生或更不可能发生，并总结了从中获得的经验教训以及突出可能的缓解策略以解决这些问题。 什么是自动化偏差 ？ 自动化偏见是指人类用户过度依赖自动化系统的一种倾向，反映出人类与AI系统交互过程中出现的认知偏见。 当受到自动化偏差的影响时，用户倾向于减少对自动化系统及其执行任务的监控警觉性。1他们过度信任系统的决策能力，并不适当地将超出系统设计处理范围的责任委托给系统。在严重的情况下，用户可能会优先采纳系统的建议，即使面临矛盾的证据。 自动化偏差通常以两种方式表现：一种是疏忽错误（error of omission），即人类因自动化系统未发出警报而未能采取行动（如在车辆案例研究中所述）；另一种是执行错误（error of commission），即人类遵循自动化提供的错误指令而采取了错误行动（如在爱国者导弹系统案例研究中所述）。2在本分析中，我们还讨论了一个由于对自动化存在偏见而导致损害的例子（即关于AEGIS武器系统的第三案例研究）。自动化偏见并不总是导致灾难性事件，但它会增加此类结果的可能性。减轻自动化偏见有助于改善人类对人工智能系统的监督、操作和管理，从而降低与人工智能相关的一些风险。 自动化偏差的挑战随时间逐渐加剧，自不同应用领域（包括执法、移民、社会福利、消费品和军事等）引入越来越先进的AI-enable系统和工具以来，出现了数百起事件。在这些事件中，AI、算法和自主系统被部署时缺乏足够的用户培训、清晰的能力与限制说明，以及指导其使用的政策。（见附录1）3 方框 1. 自动化偏见和英国邮局丑闻 在自动化偏差的一个典型案例中，英国邮政部门使用的一套故障会计系统导致了对736名英国代理邮局局长的错误指控，指控他们涉嫌贪污。尽管这并不涉及人工智能系统，但自动化偏差和“不可错系统”的神话起到了重要作用——用户在有大量相反证据的情况下仍然接受了系统的错误，更倾向于相信数百名代理邮局局长参与了盗窃和欺诈行为。4作为一项正在进行的研究中的一位作者指出：“这不仅仅是一次关于技术失败的丑闻；这是一次关于管理严重失败的丑闻。”5 虽然自动化偏差是一个具有挑战性的问题，但它是一个可以通过在整个AI开发和部署过程中采取措施来解决的可处理问题。自动化偏差可能表现出来的途径——即在用户、技术及组织层面——也代表了减轻自动化偏差的干预点。 理解和减轻自动化偏差的框架 技术必须符合特定用途，用户必须理解这些用途以便能够适当控制系统。此外，了解何时信任AI以及何时和如何密切监控AI系统的输出结果对于其成功部署至关重要。6多种因素校准运营商心中的信任和依赖，这些因素通常可以归为三大类（尽管每类因素可能会根据互动发生的具体情境有所不同，例如极端压力情况或相反的疲劳状态）：7 • 与人类用户相关的基本因素，如偏见、经验以及使用系统时的信心；• 内在于AI系统的因素，如其故障模式（它可能失效或表现不佳的具体方式）以及信息的呈现和沟通方式；以及• 受组织或监管规则和规范、强制性程序、监督要求和部署政策影响的因素。 组织在实施AI时必须避免仅仅专注于技术“机器”方面而忽视人类因素，以确保AI的成功部署。这些系统的管理人文方面同样值得同等重视，并且管理策略应根据具体情境进行调整。 认识这些复杂性及潜在风险，本文介绍了三个可控因素（用户、技术、组织）对自动化偏差的影响案例研究，这些因素与前述影响人类机器交互动态的因素相对应（详见表1）。 额外的任务特定因素，如时间限制、任务难度、工作负载和压力，可能会加剧自动化偏差或相反地减轻自动化偏差。8这些因素应在系统设计、培训和组织政策中予以充分考虑，但超出了本文的范围。 案例研究 案例研究 1 ： 用户特质如何导致自动化偏差 个人将他们的个人经历和偏