混合 AI 事件报告的一个论点

执行摘要 自从AI能力在过去十年中开始迅速发展以来，AI事件的发生频率越来越高。尽管在AI的开发和部署过程中出现了许多事件，但还没有协调一致的 U.S.policyefforttomonitor,document,andcompileAIincidentsandusethedatatoenhanceourunderstandingofAIharmityandinformingAIsafetypoliciesinordertofelovearobustAIsafetyecosystem.Inresponsetothiscriticalgap,thegoalsofthispaperare ●检查和评估现有的AI事件报告计划-数据库和政府举措。 ●从其他部门的事件报告数据库. ●提供recommendations根据我们的分析。 ●提议a联邦*和标准化混合报告框架其中包括 ○强制性报告:组织必须按照法规的指示报告某些事件，通常是向政府机构报告。 ○自愿报告：允许并鼓励个人和团体报告事件，通常有明确的指导方针和政策，通常向政府机构或专业团体报告。 ○市民举报:这类似于自愿报告，但事件是由公众、记者和充当监督机构的组织报告的 。 *出于本文的目的，我们将联邦框架定义为由单一权威政府机构或联邦政府规定的集中框架。该框架规定了一套可以在政府机构或非政府组织之间进行调整和实施的最低要求。 在本文讨论事件报告时，我们强调向独立的外部组织（例如，政府机构，专业协会，监督机构等）报告。 对现有AI事件收集工作的调查发现，只有两个公民报告组织主动捕获AI事件。此外，对全球人工智能立法举措的审查显示，中国、欧盟、巴西和加拿大已经颁布或提出了强制性人工智能事件报告指南。目前，在美国没有任何重要的立法举措来建立人工智能事件报告政策框架。可用的U.S.提到报告人工智能事件的政府文件是实施报告机制的建议和指南，但不一定是针对外部实体的。 从医疗保健，运输和网络安全部门的事件报告框架来看，产生了宝贵的经验教训。医疗保健部门使用自愿报告导致丢失事件和不可比较的数据点进行分析。运输部门有一个既定的事件报告框架 ，其中包括用于确定根本原因的调查委员会，然后用于为基于证据的安全措施提供信息。在网络安全方面，美国S.政府发布了一系列授权，要求在选定领域强制报告，不再依赖标准和其他软法律。 我们对两个人工智能事件报告数据库、与人工智能事件报告相关的新兴政府举措以及医疗保健、交通和网络安全领域的各种事件报告系统的分析揭示了其优缺点。这些见解提供了一些重要的经验教训，可以应用于AI事件报告政策框架，如下所述： ●有限的事件报告框架是不够的。全面地，本文所审查的事件报告倡议经常强调公民、自愿或强制性报告，通常侧重于这些报告类别中的一个或两个。孤立地，这三个框架中的每一个都有局限性。 ●不一致的数据会产生毫无意义的数据。依赖州计划或特定领域的指南可能会产生不均匀或不一致的数据，这些数据 可能不足以汇总AI事件数据进行统计分析或准确描述AI危害的许多方面。 ●需要一个联合的AI事件报告框架。缺乏联合人工智能事件报告政策框架影响了医疗保健部门的事件数据收集工作，导致报告举措分散和不一致。 ●事件调查支持有效的安全政策。调查安全委员会可用于对重大AI事件进行根本原因分析，并提供反馈，以帮助AI参与者改进其设计和开发，使决策者能够制定有效的法规，并对公众进行AI安全教育。* 基于上述讨论的观察结果以及AI作为通用技术的性质，我们提出以下建议，以解决当前AI事件报告中的差距。 ●为联合混合报告框架建立明确的策略。政策制定者应建立一个联合和全面的人工智能事件报告政策框架，以收集跨部门和应用程序的事件数据。人工智能事件应报告给独立的外部实体(e。Procedre、政府机构、专业协会、监督机构等。)促进人工智能事件管理的透明度和问责制。混合报告框架由以下方面支持： ○强制性报告:应授权相关AI行为者及时报告所涵盖的事件。 *联合国教科文组织将人工智能行为者定义为参与人工智能系统生命周期至少一个阶段的任何行为者，可以指自然人和法人， 如研究人员、程序员、工程师、数据科学家、最终用户、商业企业、大学以及公共和私人实体等。见：“关于人工智能伦理的建议”，教科文组织（2021年），10，https:/esdoc。联合国教科文组织.org/ar:/48223/pf0000381137。 ○自愿报告：还应与强制性框架一起建立自愿报告框架，以捕获强制性管辖范围以外的人工智能事件。 ○市民举报:应该为公众和所有其他利益攸关方提供一个易于访问的报告框架，以报告和记录人工智能事件。 ●制定规范、权威的分类体系。人工智能事件报告框架应包括一组标准化的披露信息，以及针对不同领域的独特特征的调整，例如隐私问题和其他监管要求。 ●创建独立的AI事件调查机构。当发生重大AI事件时，独立委员会应调查根本原因并提供基于证据的安全建议。 ●探索自动化数据收集机制。自动数据收集机制对于从AI事件中获取技术和上下文信息可能非常有利。 需要进一步研究，以探索实施适用于各个部门和应用程序的全面报告框架的必要内容和考虑因素 。我们将在后续文件中对此进行探讨，而不会在本文中进行深入研究。 减轻AI危害并有效管理其后果的能力可以影响有关AI使用的公开对话。人工智能事件报告框架必须被整合为人工智能安全的重要组成部分，而不是作为人工智能立法举措的事后考虑而开发。目前为建立一个风险相对较低的人工智能事件报告框架提供了一个绝佳的机会。然而，随着AI在应用程序和行业中变得越来越普遍，这个窗口正在迅速关闭。一个联合、全面和标准化的框架将防止数据缺口并提高数据质量。采用包括强制性、自愿性和公民报告的混合框架将提高数据保真度，更准确地反映人工智能危害和风险的新兴趋势。 目录 .........................................................................................................................................................1 Introduction6 突发事件报告概述10 当前AI事件报告11 政府针对AI事件报告的举措15 医疗保健、运输和网络安全领域的事件报告政策的经验教训20 Discussion31 Recommendations35 Conclusion39 Authors41 Acknowledgements41 尾注42 Introduction 人工智能可以带来的潜在能力和好处是巨大而广泛的。值得注意的是，该技术为基础科学研究的重大进步做出了贡献，否则这些进步将需要数年或数十年的时间才能实现。例如，在生物科学和医学领域 ，研究人员使用人工智能来准确预测蛋白质结构，这可以加速新的医学发现，并有效地识别可能攻击抗生素抗性超级细菌的潜在化合物。1在清洁能源中，强化学习算法成功地控制了托卡马克（控制并包含加热的氢等离子体的机器）中的核聚变等离子体，加速了核聚变产生的清洁能源。2 也就是说，随着AI应用程序和系统在各个部门和行业中变得越来越普遍，AI事件的数量也在增加。AI事件通常可以描述为实体遭受有形或无形损害的事件，这些损害可以直接与AI系统行为的后果联系在一起。3最近发生的几起值得注意的事件-例如用于预测累犯的AI系统，面部识别技术 ，招聘决策和福利分配决策中的偏见结果-引起了公众对AI危害问题的广泛关注。4人工智能事件数据库中捕获的数据显示，自2010年以来，人工智能事件的快速增长(见图1)。* *人工智能事件由社区成员提交给人工智能事件数据库，然后进行专家审查并纳入数据库。数据来自2023年10月的数据库备份，这是撰写本文时最新的数据。 图1.按年份划分的累积AI事件 来自AI事件数据库的AI事件快照 在2023年5月至6月之间，跟踪AI事件的志愿者向AIID提交了13个AI事件。以下示例是一些事件的快照，以突出它们可能产生的影响类型： ●美国国家饮食失调协会下掉了其人工智能聊天机器人“Tessa”，该机器人旨在提供健康的饮食技巧。据报道，与开发人员的期望相反，聊天机器人提供了不良的饮食建议，可能会伤害寻求帮助的人。5 ●人工智能生成的虚假图像显示五角大楼附近的建筑物爆炸在社交媒体上广为流传。一家财经新闻网站报道了该图像，在专家将该图像驱散为虚假图像之前，该图像导致美国股市短暂下跌。6 ●美国国家公路交通安全管理局一直在调查几起与特斯拉自动驾驶相关的道路交通事故和死亡人数。从2019年到2023年，这些事件大幅增加，报告的撞车事故超过736起 。7 目前，专门的人工智能事件报告数据库主要是公民报告。在开始阶段，它是临时的，依赖于志愿者，并由私人捐款资助。*尽管在人工智能的开发和部署过程中出现了大量的事件，但目前还没有一个协调一致的政策努力来记录和汇编人工智能事件，并使用这些数据来增强我们对人工智能危害 的理解，为人工智能安全政策提供信息，并总体上促进一个强大的人工智能安全生态系统。 *本报告的目的是找出联合人工智能事件报告中的差距，因此我们只专注于不分青红皂白地收集人工智能事件的数据库 。我们承认，可能有人工智能事件被捕获在与行业相关的数据库中，如医疗器械、车辆事故和招聘系统。 针对这一关键差距，本文的目标是： 检查和评估现有的AI事件报告计划-数据库和政府计划。 从其他部门的事件报告数据库中汲取经验教训。 根据我们的分析提供建议。 提出一个由强制性，自愿性和公民报告组成的联合，全面和一致的报告框架。 实施可操作的人工智能事件报告框架将需要进行深入评估，以确定例如要报告的事件类型、全面和适应性强的分类系统、应收集的数据类型以及如何共享和使用数据。需要更多的研究来发现这些信息，这将是后续论文的重点，在这里不再讨论。 总体而言，面对AI的进步，建立一个强大的安全生态系统来保护社会是必不可少的，以使我们能够充分发挥其潜力，同时将相关伤害的风险降至最低。建立AI事件报告政策框架可以增强我们对AI危害的理解，从而为更大的AI安全和风险缓解工作做出贡献。 突发事件报告概述 事件报告一直是不同部门安全实践的组成部分，用于在发生损害时记录数据-从医疗保健到航空，从制造到职业安全，从公用事业到食品安全。当发生不良事件或伤害时，会收集重要数据，以帮助我们更深入地了解根本原因，发现趋势，并防止过去的失败再次发生。这些见解反过来又为制定更准确和有效的政策奠定了基础，从而促进了强大的安全框架和生态系统。 在本文中，我们专注于向独立的外部组织报告事件(例如Procedre、政府机构、专业协会、监督机构等。).我们不考虑内部事件集合(例如Procedre、公司软件bg跟踪、内部帮助台票证等。)或公司在其产品上收集的第三方报告(例如Procedre、客户投诉、客户支持电子邮件等。).向第三方组织报告的事件可以分为三大类： 强制性报告：组织必须按照法规的指示报告某些事件，通常是向政府机构报告。 自愿报告允许并鼓励个人和团体报告事件，通常有明确的指导方针和政策，通常向政府机构或专业团体报告。 公民举报：这类似于自愿报告，但事件是由公众和充当监督机构的组织报告的。 实施自愿报告制度或强制性报告制度的选择因部门和行业而异，所披露的信息和报告标准也不同。强制报告要求有义务的行为者报告所涵盖的事件，不遵守可能导致法律后果。相反，在自愿报告中，鼓励但不要求组织和相关行为者报告事件。两种政策方法各有优缺点，各个部门采取了不同的政策来满足其需求。 评估不同事件报告政策框架的有效性对于衡量它们如何全面可靠地捕获AI危害的全部维度和程度至关重要。 当前AI事件报告 报告和跟踪AI事件将在理解AI危害，促进开发有效的政策工具和措施以减轻这些危害以及减少与AI相关的潜在