人工智能 - 问题与答案

欧盟委员会-问题和答案 人工智能-问题和答案* 布鲁塞尔，2023年12月12日 为什么我们需要规范人工智能的使用？ 人工智能（AI）对我们社会的潜在好处是多方面的，从改善医疗保健到更好的教育。面对AI的快速技术发展，欧盟决定采取行动来利用这些机会。 《欧盟人工智能法案》是世界上第一部全面的人工智能法案。它旨在解决健康，安全和基本权利面临的风险。该法规还保护民主，法治和环境 。 虽然大多数人工智能系统将构成低到无风险，但某些人工智能系统会产生风险，需要解决这些风险，以避免不良后果。 例如，许多算法的不透明性可能会产生不确定性，并阻碍现有安全和基本权利立法的有效执行。为了应对这些挑战，需要采取立法行动 ，以确保人工智能系统的内部市场运作良好，在这种市场中，利益和风险都得到了充分解决。 这包括生物识别系统或涉及重要个人兴趣的AI决策等应用程序，例如在招聘，教育，医疗保健或执法领域。鉴于潜在的系统性风险,欧盟制定了有效的规则和监督。 新的AI规则将解决哪些风险？ 一些被广泛使用的强大AI模型甚至可能带来系统性风险。 由于缺乏信任，这导致公司的法律不确定性，并可能减缓企业和公民对AI技术的吸收。国家当局对监管的不同反应可能会破坏内部市场。 AI法案适用于谁？ 该法律框架将适用于欧盟内外的公共和私人行为者，只要AI系统被放在欧盟市场上，或者它的使用会影响欧盟的人。 它可以涉及两个提供者(e。ProcedreCV筛选工具的开发人员）和高风险AI系统的部署人员（例如Procedre购买此筛选工具的银行AI 系统的进口商还必须确保外国提供商已经执行了适当的合格评定程序，带有欧洲符合性（CE）标记，并附有所需的文件和使用说明。 此外，预计通用AI模型（包括大型生成AI模型）的提供者将承担某些义务。 免费和开源模型的提供商免除了这些义务中的大多数义务。这种豁免不包括具有系统性风险的通用AI模型提供商的义务。 义务也不适用于市场发布之前的研究，开发和原型制作活动，此外，该法规不适用于专门用于军事，国防或国家安全目的的AI 系统，无论从事这些活动的实体类型如何。 风险类别有哪些？ 委员会提出了一种基于风险的方法，对人工智能系统有四个风险级别，并识别通用模型特有的风险： 最小风险：所有其他AI系统都可以根据现有立法进行开发和使用，而无需承担额外的法律义务。目前在欧盟使用或可能在欧盟使用的绝大多数AI系统都属于此类。这些系统的提供者可以自愿选择应用值得信赖的AI要求并遵守自愿行为准则。 高风险：提案中定义的数量有限的AI系统可能对人们的安全或其基本权利（受《欧盟基本权利宪章》保护）产生不利影响，被认为是高风险的。该法案随附的是高风险AI系统清单，可以对其进行审查以与AI用例的演变保持一致。 这些还包括部门联盟立法所涵盖的产品的安全组成部分。根据该部门立法，在接受第三方合格评定时，它们将始终被认为是高风险的。 不可接受的风险：非常有限的一组特别有害的AI用途，违反了欧盟的价值观，因为它们侵犯了基本权利，因此将被禁止： 社会评分用于公共和私人目的； 利用人的脆弱性，使用潜意识技术; 执法部门在可公开访问的空间中进行实时远程生物识别，但有狭窄的例外情况(见下文)； 生物特征分类基于生物特征数据的自然人，以推断或推断他们的种族、政治观点、工会成员、宗教或哲学信仰或性取向。 个人预测警务; 工作场所和教育机构的情感识别，除非出于医疗或安全原因(即监测飞行员的疲劳程度)； 无目标刮擦用于面部图像的互联网或闭路电视，以建立或扩展数据库。 特定透明度风险：对于某些AI系统，会施加特定的透明度要求，例如存在明显的操纵风险（例如通过使用聊天机器人）。用户应该意识到他们正在与机器进行交互。 此外，《人工智能法》还考虑到系统性风险这可能源于通用AI模型，包括大型生成AI模型这些模型可以用于各种任务，并正在成为欧盟许多人工智能系统的基础。其中一些模型如果非常有能力或广泛使用，可能会带来系统性风险。例如，强大的模型可能会导致严重事故或被滥用于影响深远的网络攻击。如果一个模型在许多应用程序中传播有害偏见，许多人可能会受到影响。 我如何知道AI系统是否高风险？ 该法案与“高风险”的明确定义一起，提出了一种可靠的方法，有助于在法律框架内识别高风险的人工智能系统。这旨在为企业和其他运营商提供法律确定性。 风险分类基于AI系统的预期目的，符合现有的欧盟产品安全立法。这意味着风险的分类取决于AI系统执行的功能以及使用该系统的特定目的和方式。 该法案的附件是被认为是高风险的用例列表。委员会将确保该清单保持最新和相关。高风险清单上的系统执行狭窄的程序任务，改善先前人类活动的结果，不影响人类决策或纯粹的准备任务，不被认为是高风险的。但是，如果AI系统对自然人进行分析，则始终被认为是高风险的。 高风险AI系统提供商的义务是什么？ 之前在欧盟市场上放置高风险的AI系统或以其他方式将其投入使用，提供商必须使其受到合格评定。这将使他们能够证明 他们的系统符合可信人工智能的强制性要求（例如数据质量、文档和可追溯性、透明度、人为监督、准确性、网络安全和健壮性）。如果系统或其目的被大幅修改，则必须重复此评估。 人工智能系统是部门联盟立法所涵盖的产品的安全组成部分，在受到该部门立法下的第三方符合性评估时，将始终被视为高风险。此外，对于生物识别系统，始终需要第三方符合性评估。 高风险AI系统的提供商也必须实施质量和风险管理体系确保他们遵守新要求，并将用户和受影响人员的风险降至最低，即使在产品投放市场后也是如此。 由公共机构或代表其行事的实体部署的高风险AI系统将必须在欧盟公共数据库中注册，除非这些系统用于执法和迁移。后者必须在数据库的非公共部分进行注册，该部分仅可由相关监管机构访问。 市场监管机构将通过审计支持上市后监测，并为提供商提供报告他们已经意识到的严重事件或违反基本权利义务的可能性。任何市场监管机构都可以出于特殊原因授权在市场上投放特定的高风险人工智能。 如果发生违规行为，这些要求将允许国家当局访问调查人工智能系统的使用是否符合法律规定所需的信息。 附件III中定义的高风险用例的示例是什么？ 某些关键基础设施，例如道路交通以及水，气，暖气和电力供应领域的基础设施； 教育和职业培训，例如，评估学习成果，指导学习过程和监控作弊行为； 就业、工人管理和获得自营职业，例如放置有针对性的招聘广告，分析和过滤工作申请以及评估候选人； 获得基本的私人和公共服务和福利(例如医疗保健)，信誉评价自然人，以及与人寿保险和健康保险有关的风险评估和定价；在领域中使用的某些系统执法,边境管制，管理 司法and民主进程; 紧急呼叫的评估和分类; 生物识别、分类和情绪识别系统（在禁止的类别之外）； 不包括非常大的在线平台的推荐系统，因为它们已经在其他立法（DMA/DSA）中涵盖。 如何监管通用AI模型？ 通用AI模型，包括大型生成AI模型，可用于各种任务。单个模型可能会集成到大量的AI系统中。 重要的是，希望建立通用AI模型的提供商必须拥有所有必要的信息，以确保其系统安全并符合AI法案。 因此，人工智能法案要求此类模型的提供者向下游系统提供商披露某些信息。Such透明度可以更好地理解这些模型。模型提供者还需要制定政策，以确保他们尊重版权法训练他们的模型时。 此外，其中一些模型可能会构成系统性风险，因为它们非常有能力或广泛使用。 目前，使用训练的通用AI模型总计算能力超过10^25FLOPs被认为具有系统性风险，因为用更大的计算训练的模型往往更强大。人工智能办公室(在委员会内建立)可能会根据技术进步更新这一阈值，并且在特定情况下可能会根据进一步的标准(例如，用户数量或 模型)。 因此，具有系统性风险的模型提供商必须评估和减轻风险,报告严重事件,进行最先进的测试和模型评估，确保网络安全并提供关于能源消耗的信息他们的模型。 为此，他们被要求与欧洲AI办公室合作制定行为守则，作为与其他专家合作制定规则的核心工具。一个科学小组将在监督通用人工智能模型方面发挥核心作用。 为什么10^25FLOP是具有系统性风险的GPAI的适当阈值？ 这个阈值捕获了当前最先进的GPAI模型，即OpenAI的GPT-4和可能的GoogleDeepMind的双子座。 Thecapabilitiesofthemodelsabovethisthresholdarenotyetwellunderstood.Theycouldposesystemicrisks,andthereforeitisreasonabletosubjecttheirproviderstotheadditionalsetofobligations. FLOP是模型能力的第一个代理，确切的FLOP阈值可以由欧洲人工智能办公室向上或向下更新，例如，根据客观衡量模型能力的进展和给定性能水平所需的计算能力的发展。 可以修改AI法案以更新FLOP阈值（通过委托行为）。 AI法案是未来的证明吗？ 该法规引入了不同级别的风险，并提供了明确的定义，包括GPAI。 该立法为高风险人工智能系统设定了以结果为导向的要求，但将具体的技术解决方案和操作化主要留给行业驱动的标准，这些标准将确保法律框架灵活适应不同的用例并实现新的技术解决方案。 此外，人工智能法案可以通过授权和实施法案进行修改，包括更新FLOP阈值（授权法案），添加将GPAI模型分类为呈现系统性风险的标准（授权法案），修改模式以建立监管沙箱和现实世界测试计划的元素（实施法案）。 AI法案如何规范生物识别？ Theuseof在可公开访问的空间中进行实时远程生物识别（即使用闭路电视进行面部识别）用于执法目的是被禁止的，除非用于以下情况之一： 与16种特定犯罪有关的执法活动； 有针对性地搜寻特定受害者，绑架，贩运和对人的性剥削以及失踪人员；要么防止对人员生命或人身安全的威胁，或应对目前或可预见的恐怖袭击威胁。 16种罪行的清单包括：恐怖主义；贩运人口； 对儿童的性剥削和儿童性虐待材料；非法贩运麻醉药品和精神药物；非法贩运武器、 弹药和爆炸物；谋杀；严重的身体伤害； 人体器官和组织的非法贸易； 非法贩运核材料或放射性材料；绑架、非法限制和劫持人质；国际刑事法院管辖范围内的犯罪；非法扣押飞机/船只； 强奸； 环境犯罪；有组织或武装抢劫； 破坏活动，参与参与上述一项或多项犯罪的犯罪组织。 执法部门的实时远程生物识别将受到司法或独立行政当局的事先授权在紧急情况下，授权可以在24小时内完成；如果授权被拒绝，则需要删除所有数据和输出。 它之前需要有事先基本权利影响评估并且应该是通知相关市场监管机构和数据保护机构。在紧急情况下，可以在没有注册的情况下开始使用该系统。 AI系统的使用邮政远程生物识别（在先前收集的视频材料中识别人员）需要事先获得司法机构或独立行政机构的授权，并通知数据保护和市场监管机构。 为什么远程生物识别需要特定的规则？ 生物特征识别可以采取不同的形式。它可以用于用户认证，即解锁智能手机或在边境口岸进行验证/认证，以根据他/她的旅行证件检查一个人的身份（一对一匹配）。 生物识别也可以远程使用,用于识别人群中的人,其中例如针对数据库检查人的图像(一对多匹配)。 面部识别系统的准确性可能会因多种因素而有很大差异，例如相机质量，光线，距离，数据库，算法以及受试者的种族，年龄或性别。步态和语音识别以及其他生物识别系统也是如此。高度先进的系统正在不断降低其错误接受率。 虽然99%的准确率总体上听起来不错，但当结果导致无辜的人怀疑时，这是相当危险的。如果涉及成千上万的人，即使是0.1%的错误率也是很大的。 规则如何保护基本权利？ 欧盟和成员国层面已经对基本权利和不歧视进行了强有力的保护，但某些人工智能应用程序（“黑匣子”）的复杂性和不透明性构成了问题