AI 安全和自动化偏差

问题简报 AI安全和自动化偏差 人在循环的缺点 作者LaurenKahnEmeliaS.ProbascoRonnieKinoshita 2024年11月 执行摘要 - 自动化偏见是指个体过度依赖自动化系统的倾向。当个人和组织更倾向于相信系统输出或建议，即使面对矛盾的信息时也是如此，这可能会导致事故、错误及其他不利后果的风险增加。 人工智能 自动化偏见可能危及成功使用通过削弱用户对AI系统进行有意义控制的能力。随着AI系统的普及，这些系统以各种方式失败或出错的事件也越来越多，而人类用户未能纠正或识别这些行为。 本研究提供了一个三层框架来理解自动化偏差，通过考察用户、技术设计和组织在这三者中各自的作用对自动化偏差的影响。它分别呈现了这些因素的案例研究，然后提出相应的教训和建议。 用户偏差：Tesla案例研究影响偏差的因素： ●用户的个人知识、经验和对某项技术的熟悉程度。●用户对自己及其系统的信任和信心水平。 从案例研究中获得的经验教训： ●用户感知和系统能力之间的差异会导致偏见，并可能导致伤害。 Recommendation: ●创建和维护资格标准，以便用户理解。 用户对系统功能或限制的误解是造成危害事件的重要因素。由于用户理解对于安全运行至关重要，系统开发者和供应商必须投资于清晰的沟通以说明其系统的特点。 技术设计偏差：空客和波音设计哲学案例研究影响偏差的因素： ●系统的总体设计，用户界面，以及它如何提供用户反馈。 从案例研究中获得的经验教训： ●即使是训练有素的用户，如飞行员，系统接口也会做出贡献 自动化偏见。 ●不同的设计理念有不同的风险。没有单一的方法是 必然是完美的，都需要清晰、一致的沟通和应用程序。 Recommendation: ●重视并严格执行一致的设计规范和设计哲学，特别要考虑到人类因素的影响，尤其是对于可能需要升级的系统。当有必要时，向遗留用户解释并说明任何设计哲学上的偏离。尽可能开发共同的设计标准、规范和预期，并一致地传达这些内容（通过组织政策或行业标准），以降低混淆和自动化偏见的风险。 组织政策和程序偏差：陆军爱国者导弹系统与海军AEGIS作战系统案例研究 影响偏差的因素： ●组织培训、流程和政策。 从案例研究中获得的经验教训： ●组织可以根据协议、运营、条令、培训和认证等方式采用非常不同的工具和技术。在这些治理领域的每一个方面所做的选择都可能嵌入自动化偏见。●组织为减轻自动化偏见所做出的努力可能是有效的，但仍可能存在失误，尤其是在人类用户处于压力之下时。 建议：●组织使用自治系统的地方，设计并定期审核符合技术能力和组织优先级的组织政策。.随着技术的变化，更新政策和流程以最好地利用新能力并减轻新型风险。如果组织目标与管理能力使用方式的政策之间存在不匹配，自动化偏差和不良结果的可能性将更高。 在这三个案例研究中，明显可以看出，“人工在环中”（human-in-the-loop）无法防止所有事故或错误。然而，适当校准技术性和人为的安全措施，为降低AI系统使用风险提供了最佳机会。 目录 执行摘要........................................................................................................................... ............1引言................................................................................................................... ...............................5什么是自动化偏差？........................................................................ ............................................6理解和减轻自动化偏差的框架........................................... ..................................................8案例研究...................................................................... ...................................................................10案例研究1：用户个性化如何导致自动化 偏差................................................................10特斯拉通往自主驾驶的道路................... .............................................................................10驾驶途中：特斯拉的自动驾驶与人 ✁因素.11案例研究2：技术设计因素如何 引发自动化偏差.13人机界面：空客与波音的设 计理念......................................................................................14波音事件...................... ...................................................................................................................16空客事件.... .....................................................................................................................................17案例研究3：组织如何制度化自动化偏差.......................................................................... ..18不同组织对自动化的不同方法：陆军vs.海军............................................................ ....19帕特里夏：系统倾向................................................................................................. ................21AEGIS：人类倾向....................................................................................... ...............................22结论.............................................................................................. ....................................................24作者......................................................................... ...........................................................................26致谢.................................................. .................................................................................................26注释............................ ........................................................................................................................27 Introduction 在关于人工智能的当代讨论中，一个关键但经常被忽视的因素是自动化偏见——人类用户倾向于过度依赖AI系统。如果不加以解决，自动化偏见不仅已经并且可能会对AI和自主系统用户以及无辜旁观者造成伤害，涉及从错误的法律指控到死亡的各种案例。因此 ，自动化偏见在AI的实际应用中，尤其是在国家安全部署和军事操作等高风险情境下，构成了一个重大的挑战。 成功的AI系统部署依赖于AI系统与其操作人员之间复杂而相互依存的关系。解决自动化偏差是确保AI成功、伦理且安全部署的必要条件，尤其是在过度依赖或误用可能导致最严重后果的情况下。.随着社会将AI集成到系统中，决策者因此需要准备好减轻自动化 偏差带来的风险。 自动化偏差可以在用户、技术设计和组织层面表现出来并被拦截。我们提供了三个案例研究，解释了在这些每个层面的因素如何使自动化偏差更可能发生或更不可能发生，并总结了从中获得的经验教训以及突出可能的缓解策略以解决这些问题。 什么是自动化偏差？ 自动化偏见是指人类用户过度依赖自动化系统的一种倾向，反映出人类与AI系统交互过程中出现的认知偏见。 当受到自动化偏差的影响时，用户倾向于减少对自动化系统及其执行任务的监控警觉性 。1他们过度信任系统的决策能力，并不适当地将超出系统设计处理范围的责任委托给系统。在严重的情况下，用户可能会优先采纳系统的建议，即使面临矛盾的证据。 自动化偏差通常以两种方式表现：一种是疏忽错误（errorofomission），即人类因自动化系统未发出警报而未能采取行动（如在车辆案例研究中所述）；另一种是执行错误（errorofcommission），即人类遵循自动化提供的错误指令而采取了错误行动（如在爱国者导弹系统案例研究中所述）。2在本分析中，我们还讨论了一个由于对自动化存在偏见而导致损害的例子（即关于AEGIS武器系统的第三案例研究）。自动化偏见并不总是导致灾难性事件，但它会增加此类结果的可能性。减轻自动化偏见有助于改善人类对人工智能系统的监督、操作和管理，从而降低与人工智能相关的一些风险 。 自动化偏差的挑战随时间逐渐加剧，自不同应用领域（包括执法、移民、社会福利、消费品和军事等）引入越来越先进的AI-enable系统和工具以来，出现了数百起事件。在这些事件中，AI、算法和自主系统被部署时缺乏足够的用户培训、清晰的能力与限制说明 ，以及指导其使用的政策。（见附录1）3 方框1.自动化偏见和英国邮局丑闻 在自动化偏差的一个典型案例中，英国邮政部门使用的一套故障会计系统导致了对736名英国代理邮局局长的错误指控，指控他们涉嫌贪污。尽管这并不涉及人工智能系统，但自动化偏差和“不可错系统”的神话起到了重要作用——用户在有大量相反证据的情况下仍然接受了系统的错误，更倾向于相信数百名代理邮局局长参与了盗窃和欺诈行为。4作为一项正在进行的研究中的一位作者指出：“这不仅仅是一 次关于技术失败的丑闻；这是一次关于管理严重失败的丑闻。”5 虽然自动化偏差是一个具有挑战性的问题，但它是一个可以通过在整个AI开发和部署过程中采取措施来解决的可处理问题。自动化偏差可能表现出来的途径——即在用户、技术及组织层面——也代表了减轻自动化偏差的