2024年人工智能安全与自动化偏见报告

问题简报 AI安全和自动化偏差 人在循环的缺点 作者LaurenKahnEmeliaS.ProbascoRonnieKinoshita 2024年11月 执行摘要 - 自动化偏差是指个人过度依赖自动化系统的倾向。当个人和组织更倾向于相信系统产生的输出或建议，即使面临矛盾的信息时，这可能导致事故、错误和其他不良后果的风险增加。 人工智能 自动化偏见可能危及成功使用通过削弱用户对AI系统进行有意义控制的能力。随着AI系统的普及，这些系统以各种方式失败或出错的事件也越来越多，而人类用户未能纠正或识别这些行为。 本研究提供了一个三层框架来理解自动化偏差，通过分析用户、技术设计和组织在这三个因素中所起的作用。它分别呈现了每个因素的案例研究，然后提供了相应的经验教训和建议。 用户偏差：Tesla案例研究影响偏差的因素： ●用户的个人知识、经验和对技术的熟悉程度。●用户对自己和系统的信任度和信心。 从案例研究中获得的经验教训： ●用户感知和系统能力之间的差异导致 偏见，并可能导致伤害。 Recommendation: ●创建和维护资格标准，以便用户理解。用户对系统功能或限制的误解是 significantcontributortoactivitiesofharm.Sinceuserunderstandingis对于安全运行至关重要，系统开发人员和供应商必须投资于清楚的沟通他们的系统。 技术设计偏差：空客和波音设计理念案例研究影响偏差的因素： ●系统的总体设计，用户界面，以及它如何为用户提供 反馈。 从案例研究中获得的经验教训： ●即使是训练有素的用户，如飞行员，系统接口也会做出贡献 自动化偏见。 ●不同的设计理念有不同的风险。没有单一的方法是 必然是完美的，都需要清晰、一致的沟通和应用程序。 Recommendation: ●价值和执行一致的设计和设计理念 考虑人为因素，特别是可能升级的系统。必要时，证明并明确与设计的任何偏离传统用户的理念。在可能的情况下，开发通用设计标准、标准和期望，并始终如一地传达它们(通过组织政策或行业标准)降低混淆和自动化偏差的风险。 组织政策和程序偏差：陆军爱国者导弹系统与海军AEGIS作战系统案例研究影响偏差的因素： ●组织培训、流程和政策。 从案例研究中获得的经验教训： ●组织可以使用相同的工具和技术 基于协议、操作、理论、培训和认证。这些治理领域的选择都可以嵌入自动化偏见。 ●减轻自动化偏差的组织努力可能会成功，但 事故仍然是可能的，特别是当人类用户承受压力时。 Recommendation: ●组织使用自治系统的地方，设计并定期审查适合技术能力及组织优先级的组织政策。.随着技术的变化，更新政策和流程以最好地利用新能力并减轻新型风险。如果组织目标与管理能力使用的方式之间的政策存在不匹配，自动化偏差和不良结果的可能性将更高。 在这三个案例研究中，明显可以看出，“人工在环中”无法防止所有事故或错误。然而，适当校准技术性和人为的安全措施为减轻AI系统使用风险提供了最佳机会。 目录 执行摘要…………………………………………………………………………………… 介绍………………………………………………………………………………………… 什么是自动化偏差？6 理解和减轻自动化偏见的框架………………………………………………………………… 案例研究…………………………………………………………………………………… 案例研究1：用户特质如何导致自动化偏差。 特斯拉的自主之路10 车轮背后：特斯拉的自动驾驶和人类元素………………………………………………… 案例研究2：技术设计因素如何产生自动化偏差.13人机界面：空客和波音的设计理念.14 波音事件……………………………………………………………………………… 空客事件17 案例研究3：组织如何制度化自动化偏差.18不同组织在自动化方面的做 法：陆军vs.海军......................19捷弹系统（Patriot）：偏向系统............................. .........................................................21AEGIS系统：偏向人力.................................... ..................................................22 结论24 作者26 26 尾注27 Introduction 在关于人工智能的当代讨论中，一个关键但经常被忽视的问题是自动化偏见——人类用户倾向于过度依赖AI系统。如果不加以解决，自动化偏见不仅会造成危害，已经在多种案例中得到了体现，包括错误的法律指控乃至人员伤亡。因此，自动化偏见在AI的实际应用中构成了重大挑战，特别是在国家安全部署和军事操作等高风险情境下。 成功的AI系统部署依赖于AI系统与其操作人员之间复杂的相互依存关系。解决自动化偏见是确保AI部署成功、伦理和安全的关键，尤其是在过度依赖或误用可能导致最严重后果的情况下。.随着社会将AI集成到系统中，决策者因此需要准备好减轻自动化偏见带 来的风险。 自动化偏差可以在用户、技术设计和组织层面表现出来并被拦截。我们提供了三个案例研究，解释了每个层面的因素如何使自动化偏差更加或不那么可能发生，总结了从中获得的经验教训，并突出了可能的缓解策略以解决这些复杂问题。 什么是自动化偏差？ 自动化偏差是指人类用户过度依赖自动化系统的一种倾向，反映了一种认知偏差，这种偏差源自人类与AI系统之间的交互。 当受到自动化偏见影响时，用户倾向于减少对自动化系统及其执行任务的监控警觉性。1相反，他们过度信任系统的决策能力，并不当且不恰当地将更多的责任委托给系统，以至 于系统处理能力之外的任务。在严重的情况下，用户可能会倾向于接受系统的建议，即使提供了矛盾的证据。 自动化偏见通常以两种方式表现：一种是疏忽错误，当自动化系统未发出警报，人类未能采取行动（如在车辆案例研究中所讨论的）；另一种是执行错误，当人类遵循自动化提供的不正确指令而采取行动（如在爱国者导弹系统案例研究中所讨论的）。2在本分析中，我们还讨论了一个因对抗自动化而导致危害的具体案例（即AEGIS武器系统第三案例研究）。自动化偏差并不总是导致灾难性事件，但它增加了此类结果的可能性。减轻自动化偏差有助于改善对人工智能系统的监督、操作和管理，从而降低一些与人工智能相关的风险。 自动化偏差的挑战随时间愈发严峻，自不同应用领域（包括警务、移民管理、社会福利 、消费品和军事等）引入日益先进的人工智能系统和工具以来，此类事件频发。在缺乏充分用户培训、清晰的能力与限制说明以及指导使用政策的情况下，人工智能、算法和自主系统被部署了数百次。（见附录1）3 方框1.自动化偏见和英国邮局丑闻 在自动化偏差的一个典型案例中，英国邮政部门使用的一款故障会计系统导致了对736名英国代理邮政经理的错误指控，罪名是挪用公款。尽管这并非涉及人工智能系统的情况，但自动化偏差和“不可错系统”的神话发挥了重要作用——用户尽管有大量相反证据，仍愿意接受系统的错误，倾向于相信数百名邮局经理参与了盗窃和欺诈。4作为一项正在进行的研究中的一位作者所指出的，“这并非关于技术失败 的丑闻；而是关于管理严重失败的丑闻。”5 虽然自动化偏差是一个挑战性的问题，但它是一个可以通过在整个AI开发和部署过程中解决的社会可处理的问题。自动化偏差可能表现出来的途径——即在用户、技术及组织层面——也代表了减少自动化偏差的干预点。 理解和减轻自动化偏差的框架 技术必须符合实际用途，用户必须理解这些用途才能适当控制系统。此外，了解何时信任AI以及何时和如何密切监控AI系统的输出对于其成功部署至关重要。6多种因素在运营商的心中校准信任和依赖，并且这些因素通常可以归为三大类（尽管每一大类可能会根据互动发生的具体情境有所不同，例如极端压力的情况或相反的疲劳状态）：7 •与人类用户相关的内在因素，如偏见、经验以及使用系统时的信心；•与AI系统固有的因素，如其故障模式（它可能失效或表现不佳的具体方式）以及信息的呈现和传达方式；以及•受组织或监管规则和规范、强制性程序、监督要求和部署政策影响的因素。 组织在实施人工智能时必须避免仅仅专注于技术“机器”方面而忽视整体视角，以确保人工智能的成功部署。这些系统的人类因素管理同样值得同等重视，并且管理策略应根据具体情境进行调整。 认识到这些复杂性和潜在风险，本文呈现了三个可控因素（用户、技术、组织）影响自动化偏差的案例研究，这些因素与前述塑造人机交互动态的因素相对应（详见表1） 。 表1.影响自动化偏差✁因素 因素 Description 案例研究 User 用户✁个人知识，经验，并熟悉技术 特斯拉和驾驶自动化 用户✁信任度和对自己和系统 技术Design 系统✁总体设计、其用户界面✁结构，以及它如何提供用户反馈 空客和波音设计哲学 组织机构 组织过程塑造 美国陆军✁管理 AI✁使用和依赖 和爱国者✁运作导弹系统与美国海军✁管理和AEGIS✁运作战斗系统 额外✁任务特定因素，如时间限制、任务难度、工作负荷和压力，可能会加剧自动化偏差或相反地减轻自动化偏差。8这些因素应在系统设计、培训和组织政策中予以充分考虑，但超出了本文✁讨论范围。 案例研究 案例研究1：用户特质如何导致自动化偏差 个人将他们✁个人经历和偏见带到他们与AI系统✁交互中。9研究显示，对自动驾驶汽车和自主车辆技术有更高程度✁熟悉度和直接经验会使个人更有可能支持自主车辆 ✁发展，并认为它们是安全可使用✁。相反，行为科学✁研究表明，缺乏技术知识会 导致恐惧和拒绝，而对某种技术仅有少量✁了解可能会导致对其能力✁过度自信。10自动驾驶汽车日益增多✁情况表明，用户✁个体特性和经历如何影响他们✁互动和自动 化偏见。此外，如以下特斯拉案例研究所示，即使是为了减轻自动化偏见风险而设计 ✁系统改进也可能在面对个人偏见时效果有限。 特斯拉✁自主之路 汽车自动化程度不断提高。制造商和工程师引入了定速巡航以及一系列其他先进✁驾驶辅助系统（ADAS），旨在提高驾驶安全性并减少人为错误✁可能性，同时还包括车道偏离预警系统和盲点检测器等其他功能。美国国家高速公路交通安全管理局认为，全自动驾驶在成熟后“有可能提供革命性✁安全机会”，但同时指出这是一项未来技术。*正如他们在网站上用加粗✁大写字母明确指出✁那样，这些汽车能够在驾驶员愿意接管驾 1 驶任务时完成“所有驾驶任务方面✁工作”。在美国消费者购买✁今天✁车辆上不可用。”1即使这些 * 美国汽车工程师学会（SAE，与国际标准化组织ISO合作）制定了六级驾驶自动化等级，从0到5。其中 ，等级0代表没有自动化系统，如自适应巡航控制等。而在另一端，等级4和5则表明可能不需要安装方向盘✁全自动驾驶车辆。等级1和2包括具有逐渐增强✁驾驶员辅助功能✁系统，如上述提到✁功能。然而 ，在所有这些系统中，人类仍然在驾驶，“即使你✁脚离开了踏板，也没有进行转向操作。”在等级3，自动化开始接管时，区分“自动驾驶”和“无人驾驶”✁界限变得模糊，除非车辆请求驾驶员介入，否则车辆依赖于驾驶员✁程度较低。等级4和5从未需要人类干预。参见“SAE驾驶自动化等级™改进以提高清晰度和国际受众适用性”，美国汽车工程师学会博客，2021年5月3日。 https://www.sae.org/blog/sae-j3016-upda.te 汽车可用✁情况下，重要✁是要考虑自主驾驶虽然可能消除某些类型✁事故或人为错误（如分心驾驶），但也有潜在✁风险（如过度信任自动驾驶系统）。12 研究表明，驾驶员对高级驾驶辅助系统（ADAS）✁采用往往是机会性✁，仅仅是车辆升级✁一个副产品。驾驶员通常是通过零散✁方式了解车辆✁功能，有时只是接收了一次空中软件更新并附带了书面说明。这些更新无需进行考