2024年人工智能安全与自动化偏见报告

人在循环的缺点 作者 Lauren KahnEmelia S. Probasco Ronnie Kinoshita 执行摘要 自动化偏差是指个人过度依赖自动化系统的倾向。当个人和组织更倾向于相信系统产生的输出或建议，即使面临矛盾的信息时，这可能导致事故、错误和其他不良后果的风险增加。 人工智能自动化偏见可能危及成功使用通过削弱用户对AI系统进行有意义控制的能力。随着AI 系统的普及，这些系统以各种方式失败或出错的事件也越来越多，而人类用户未能纠正或识别这些行为。 本研究提供了一个三层框架来理解自动化偏差，通过分析用户、技术设计和组织在这三个因素中所起的作用。它分别呈现了每个因素的案例研究，然后提供了相应的经验教训和建议。 用户偏差 ： Tesla 案例研究 ● 组织使用自治系统的地方 ，设计并定期审查适合技术能力及组织优先级的组织政策。. 随着技术的变化，更新政策和流程以最好地利用新能力并减轻新型风险。如果组织目标与管理能力使用的方式之间的政策存在不匹配，自动化偏差和不良结果的可能性将更高。 在这三个案例研究中，明显可以看出，“人工在环中”无法防止所有事故或错误。然而，适当校准技术性和人为的安全措施为减轻AI系统使用风险提供了最佳机会。 目录 执行摘要 … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … …介绍 … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … …什么是自动化偏差 ？ 6理解和减轻自动化偏见的框架 … … … … … … … … … … … … … … … … … … … … … … … … …案例研究 … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … …案例研究 1 ： 用户特质如何导致自动化偏差。特斯拉的自主之路 … … … … … … … … … … … … … … … … … … … … … 10车轮背后 ： 特斯拉的自动驾驶和人类元素 … … … … … … … … … … … … … … … … … … …案例研究 2 ： 技术设计因素如何产生自动化偏差. 13人机界面 ： 空客和波音的设计理念. 14波音事件 … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … …空客事件 17案例研究3：组织如何制度化自动化偏差......................18 不同组织在自动化方面的做法：陆军 vs. 海军......................19 捷弹系统（Patriot）：偏向系统......................................................................................21 AEGIS系统：偏向人力......................................................................................22 结论 24作者 2626尾注 27 Introduction 在关于人工智能的当代讨论中，一个关键但经常被忽视的问题是自动化偏见——人类用户倾向于过度依赖AI系统。如果不加以解决，自动化偏见不仅会造成危害，已经在多种案例中得到了体现，包括错误的法律指控乃至人员伤亡。因此，自动化偏见在AI的实际应用中构成了重大挑战，特别是在国家安全部署和军事操作等高风险情境下。 成功的AI系统部署依赖于AI系统与其操作人员之间复杂的相互依存关系。解决自动化偏见是确保AI部署成功、伦理和安全的关键，尤其是在过度依赖或误用可能导致最严重后果的情况下。.随着社会将AI集成到系统中，决策者因此需要准备好减轻自动化偏见带来的风险。 自动化偏差可以在用户、技术设计和组织层面表现出来并被拦截。我们提供了三个案例研究，解释了每个层面的因素如何使自动化偏差更加或不那么可能发生，总结了从中获得的经验教训，并突出了可能的缓解策略以解决这些复杂问题。 什么是自动化偏差 ？ 自动化偏差是指人类用户过度依赖自动化系统的一种倾向，反映了一种认知偏差，这种偏差源自人类与AI系统之间的交互。 当受到自动化偏见影响时，用户倾向于减少对自动化系统及其执行任务的监控警觉性。1相反，他们过度信任系统的决策能力，并不当且不恰当地将更多的责任委托给系统，以至于系统处理能力之外的任务。在严重的情况下，用户可能会倾向于接受系统的建议，即使提供了矛盾的证据。 自动化偏见通常以两种方式表现：一种是疏忽错误，当自动化系统未发出警报，人类未能采取行动（如在车辆案例研究中所讨论的）；另一种是执行错误，当人类遵循自动化提供的不正确指令而采取行动（如在爱国者导弹系统案例研究中所讨论的）。2在本分析中，我们还讨论了一个因对抗自动化而导致危害的具体案例（即AEGIS武器系统第三案例研究）。自动化偏差并不总是导致灾难性事件，但它增加了此类结果的可能性。减轻自动化偏差有助于改善对人工智能系统的监督、操作和管理，从而降低一些与人工智能相关的风险。 自动化偏差的挑战随时间愈发严峻，自不同应用领域（包括警务、移民管理、社会福利、消费品和军事等）引入日益先进的人工智能系统和工具以来，此类事件频发。在缺乏充分用户培训、清晰的能力与限制说明以及指导使用政策的情况下，人工智能、算法和自主系统被部署了数百次。（见附录1）3 方框 1. 自动化偏见和英国邮局丑闻 在自动化偏差的一个典型案例中，英国邮政部门使用的一款故障会计系统导致了对736名英国代理邮政经理的错误指控，罪名是挪用公款。尽管这并非涉及人工智能系统的情况，但自动化偏差和“不可错系统”的神话发挥了重要作用——用户尽管有大量相反证据，仍愿意接受系统的错误，倾向于相信数百名邮局经理参与了盗窃和欺诈。4作为一项正在进行的研究中的一位作者所指出的，“这并非关于技术失败的丑闻；而是关于管理严重失败的丑闻。”5 虽然自动化偏差是一个挑战性的问题，但它是一个可以通过在整个AI开发和部署过程中解决的社会可处理的问题。自动化偏差可能表现出来的途径——即在用户、技术及组织层面——也代表了减少自动化偏差的干预点。 理解和减轻自动化偏差的框架 技术必须符合实际用途，用户必须理解这些用途才能适当控制系统。此外，了解何时信任AI以及何时和如何密切监控AI系统的输出对于其成功部署至关重要。6多种因素在运营商的心中校准信任和依赖，并且这些因素通常可以归为三大类（尽管每一大类可能会根据互动发生的具体情境有所不同，例如极端压力的情况或相反的疲劳状态）：7 • 与人类用户相关的内在因素，如偏见、经验以及使用系统时的信心；• 与AI系统固有的因素，如其故障模式（它可能失效或表现不佳的具体方式）以及信息的呈现和传达方式；以及• 受组织或监管规则和规范、强制性程序、监督要求和部署政策影响的因素。 组织在实施人工智能时必须避免仅仅专注于技术“机器”方面而忽视整体视角，以确保人工智能的成功部署。这些系统的人类因素管理同样值得同等重视，并且管理策略应根据具体情境进行调整。 认识到这些复杂性和潜在风险，本文呈现了三个可控因素（用户、技术、组织）影响自动化偏差的案例研究，这些因素与前述塑造人机交互动态的因素相对应（详见表1）。 额外的任务特定因素，如时间限制、任务难度、工作负荷和压力，可能会加剧自动化偏差或相反地减轻自动化偏差。8这些因素应在系统设计、培训和组织政策中予以充分考虑，但超出了本文的讨论范围。 案例研究 案例研究 1 ： 用户特质如何导致自动化偏差 个人将他们的个人经历和偏见带到他们与 AI 系统的交互中。9研究显示，对自动驾驶汽车和自主车辆技术有更高程度的熟悉度和直接经验会使个人更有可能支持自主车辆的发展，并认为它们是安全可使用的。相反，行为科学的研究表明，缺乏技术知识会导致恐惧和拒绝，而对某种技术仅有少量的了解可能会导致对其能力的过度自信。10自动驾驶汽车日益增多的情况表明，用户的个体特性和经历如何影响他们的互动和自动化偏见。此外，如以下特斯拉案例研究所示，即使是为了减轻自动化偏见风险而设计的系统改进也可能在面对个人偏见时效果有限。 特斯拉的自主之路 汽车自动化程度不断提高。制造商和工程师引入了定速巡航以及一系列其他先进的驾驶辅助系统（ADAS），旨在提高驾驶安全性并减少人为错误的可能性，同时还包括车道偏离预警系统和盲点检测器等其他功能。美国国家高速公路交通安全管理局认为，全自动驾驶在成熟后“有可能提供革命性的安全机会”，但同时指出这是一项未来技术。*正如他们在网站上用加粗的大写字母明确指出的那样，这些汽车能够在驾驶员愿意接管驾驶任务时完成“所有驾驶任务方面的工作”。在美国消费者购买的今天的车辆上不可用。”11即使这些 汽车可用的情况下，重要的是要考虑自主驾驶虽然可能消除某些类型的事故或人为错误（如分心驾驶），但也有潜在的风险（如过度信任自动驾驶系统）。12 研究表明，驾驶员对高级驾驶辅助系统（ADAS）的采用往往是机会性的，仅仅是车辆升级的一个副产品。驾驶员通常是通过零散的方式了解车辆的功能，有时只是接收了一次空中软件更新并附带了书面说明。这些更新无需进行考试或获得认证。 研究还表明，在驾驶员未接受培训的情况下采用具备自动驾驶辅助系统（ADAS）的车辆时，仅凭经验使用ADAS系统可能会导致驾驶员在几次驾驶后出现对ADAS系统的误用或误解。13此外，至少一项研究发现，那些首先接触到更为先进的自动化系统的驾驶员在与其它（可能较为不先进的）自动化系统交互时更容易建立信任基础。14这种对adas车辆的信任和信心可能会表现为分心驾驶，直到司机无视警告、对紧急情况反应更慢，或承担他们在没有自动化的情况下不会承担的风险。15 车轮后面 ： 特斯拉的自动驾驶和人文元素 在2016年特斯拉Autopilot首次导致美国境内发生致命事故的前几周，该公司当时的总裁Jon McNeill亲自在Model X上测试了该系统。在其测试后的电子邮件中，McNeill对系统的表现给予了高度评价，并承认：“由于我在邮件或电话中沉浸得太深，以至于在使用Autopilot时过于自信，结果错过了出口（我知道，我知道，这不是推荐的使用方式）。”16 尽管市场营销宣传特斯拉全自动驾驶能力（FSD）可能实现完全自主驾驶而无需人类干预，但这些功能目前仍主要属于ADAS（高级驾驶辅助系统）能力范畴。17调查在此后的首次致命事故中发现，当自动驾驶系统未能区分白色挂车与明亮的天空时，驾驶员一直在观看电影，并且忽略了多次提醒其保持双手握住方向盘的警告，最终导致事故发生并导致驾驶员死亡。18自那以后，特斯拉的Autopilot软件套件（包括所谓的“全自动驾驶能力”）涉及了一系列事件。这些事件导致美国国家高速公路交通安全管理局（NHTSA）调查了近一千起事故，并对其中报告使用了Autopilot功能的事故展开了超过40起调查。19在初步调查中，NHTSA发现“涉及一例或多例致命事故至少13起，以及涉及多例严重受伤的许多其他事故。” 可预见的驾驶员对系统的误用起到了明显的作用。 ”20此外 ， NHTSA 的结论是“自动驾驶仪的设计不足以维持驾驶员的参与度 ” 。21 为应对NHTSA的调查和不断增加的关注，特斯拉于2023年12月发布了针对配备Autosteer功能车辆的安全召回，涉及两百万辆汽车。22在召回公告中 ， 特斯拉承认 ： 在某些情况下，当自动驾驶辅助系统启动时，该功能控制的显著性和范围可能不足以防止驾驶员误用SAE二级高级驾驶辅助功能。23 作为此次召回的一部分，特斯拉寻求通过空中软件更新来解决驾驶员参与度问题，增加了更多的控制选项和警报，以“鼓励驾驶员在启用Auto