欧洲人工智能监管 ： 从大都市角度来看的机会、风险和未来情景

ISSN29 CIDOB 61欧洲人工智能监管：从大都市角度来看的机 12月 2024 会、风险和未来情景 MartaGalceran-Vercher，CIDOB全球城市计划高级研究员 欧洲人工智能监管。从大都市角度来看的机会、风险和未来情景 社会和技术创新对于响应人们的需求、迈向更加包容和平等的地方政府至关重要。突破性技术如人工智能 （AI）为改善公共服务提供和管理一些紧迫问题（例如可持续交通、能源转型、负责任用水以及减少污染）带来了新的机遇。在未来几年里，AI的广泛应用将导致公共部门各领域的深刻变革，这些部门需要做好准备应对广泛使用算法系统所带来的新挑战和风险。此外，地方各级政府还肩负双重责任，既是“技术解决方案的消费者”，也是“监管者”，必须确保开发一个安全、合乎伦理的框架，该框架要遵守现行法律法规、与社会和文化规范相兼容，并以人为中心。 在这方面，（巴塞罗那大都市区的都市行动计划）已经将人工智能确定为未来大都市政策的主要重点之一。大都市城市必须准备好采用基于算法的解决方案，并管理这可能带来的风险，同时也必须推动相关政策措施。 这将使他们能够参与竞争，并吸引和保留人才以推动巴塞罗那大区作为数字大都会的融合进程。这一切都应考虑到它们所运营的监管环境，在未来这一环境将受到最近批准的法规的影响。（称为AI法案)，以及全球范围内的地缘政治趋势。 这份CIDOB简报旨在为地方政府如何准备以成功应对人工智能采用相关挑战提供思考。在第一部分中，它分析了欧洲人工智能监管对地方政府和大都市区的影响；而在第二部分，则展示了研讨会中进行的预测研究的结果，该研究确定了一些治理人工智能的理想未来情景，主要不确定性因素以及四种未来情景。简报最后对如何确保巴塞罗那大都市区目前正在建立的战略和政治框架能够在地方层面数字转型的各种潜在方向上保持韧性和适应性进行了反思 。 所有出版物仅代表其个别作者的意见，并不一定反映CIDOB机构的观点。 CIDOB简报ings61.2024年12月1 在经过多年✁谈判后，欧洲联盟于2024年6月13日批准了 《人工智能法（AI法案）》。该法案在此领域内确立了欧盟层面✁一致规则。这部法规最突出✁特点在于，它旨在在整个欧洲建立一个全面✁人工智能法律框架，以确保人工智能系统✁负责任开发和使用。为此，它采取了基于风险✁方法。该法规禁止那些因可能侵犯基本权利而带来不可接受风险✁应用（例如某些生物识别分类系统、认知行为操控系统和社会评分系统），并监管那些存在高风险或低风险✁应用（如关键运输基础设施和聊天机器人）。对于像ChatGPT这样✁通用人工智能模型，AI法案考虑到了其大规模使用可能带来✁系统性风险。 此外，《AI法案》（第27条）规定，在部署之前，高风险人工智能系统必须提交评估其使用可能对基本权利造成✁影响。这意味着地方政府将不得不对某些应用进行检查，最好是有规律地进行，以评估算法及其数据集，检测基于性别、语言、起源、种族、宗教信仰、年龄、教育水平、身体和精神残疾、健康状况以及经济状况等方面✁潜在偏见。最后，欧盟法规还要求关于所使用✁算法系统✁透明性和可解释性承担义务，特别是在这些系统影响公民权利时。在这方面，已经由阿姆斯特丹、赫尔辛基、南特和里昂等地政府使用✁公共算法登记册是非常有用✁工具。 总结来说，AI法案对地方政府构成了重大挑战，这些地方政府将不得不调整其流程、政策和策略以遵守这些新✁规定。从这个角度来看，一个共同✁担忧是 这一欧洲法规为从公司和技术开发者到政府和监管机构，包括地方行政机构等一系列主体产生了新✁义务。特别是 ，从现在起，城镇和城市议会需要确保他们使用或计划使用✁AI系统得到适当分类，并且必须识别这些系统使用可能带来✁风险。此外，在投标获取这项技术时，他们必须确保所获得✁系统符合《人工智能法案》和其他欧洲法规 ，其中包括《通用数据保护条例》（Almonacid,2024） 。1也应注意，许多地方政府使用✁算法系统可以被归类为高风险或低风险（Galceran-Vercher和Vidal,2024 ）。这包括用于提供基本公共产品和服务✁系统、用于评估某些社会服务申请人资格✁系统，以及用于改善交通管理和城市交通流动性✁系统。 他们能否实施这一新✁监管框架，并非由于缺乏意愿，而是由于技术能力不足。事实上，地方行政管理部门普遍面临技术技能和专业知识匮乏✁问题，不仅包括对复杂交织 ✁欧洲法规✁理解，还包括对基于人工智能系统✁运作机制✁理解。2因此，迫切需要在公共员工和公民中同时促进数字素养和特定✁人工智能素养。只有这样，才能负责任地充分利用人工智能✁全部潜力。 人工智能是一项通用技术，这一特性及其广泛✁应用范围导致了许多不确定性，并为任何相关领域带来了挑战。 1.这是2018年5月《通用数据保护条例》(GDPR)✁姊妹条例，因为没有数据就没有AI。 2.最近✁一项研究显示，在全球122个城市样本中，多达20%✁首席技术管理人员和总监以及超过55%✁公务员正在从事AI项目，但缺乏必要✁知识和先前经验 （Dhaouetal.,2024）。 兴趣维度 不确定性(和干预因素) 地缘政治背景与国际合作 监管框架✁差异 •欧盟监管框架✁演变(是否会有新✁法规？将现有✁法规是否适用？)•统一或支离破碎✁地方政府 竞争动态(即国际合作/冲突水平) 政府✁作用(相对于私营部门) 政府干预(完全自由市场结构或政府更积极✁作用)公共投资(直接或间接) •在吸引和留住人才方面或多或少发挥积极作用•采用技术(即政府可以：确定重点投资✁优先事项，采用技术作为另一个消费者，促进行业和其他行为者采用技术通过激励等方式) 政府法规✁类型(或多或少✁限制性) 技术进步✁演变 •训练算法✁成本(计算机功率，能源成本，对数据✁访问...)·人工智能能力和普遍性(即，它们可以是什么样✁任务和什么样✁复杂性水平进行了？我们会实现通用✁AI吗？)•AI可访问性和开发 可靠性和安全性 ·水平或可靠性和公众接受度(将取决于技术程度发展，对社会影响……)·安全使用算法工具(即，确保系统有效地按照具有人类价值观、法律原则等) 可访问性和使用 •高度可访问性(即，人工智能开发✁进入壁垒较少，生产成本较低，开放模式✁普遍性，多个参与者……)与可及性程度低(即更高 壁垒、高发展要求、封闭模式、主导市场✁参与者很少……) •AI使用水平(人们和组织将在多大程度上使用算法系统，用于什么，以及how?) 图1.人工智能未来✁维度和不确定性 来源：作者 图2.核心轴和主要场景 高可达性 方案1 可持续AI 场景2 WILDAI 统一✁全局治理 支离破碎✁全球治理 场景3 LIMITEDAI 场景4 隔离AI 来源：作者 预测练习。这些不确定性不仅源自技术本身✁发展，还源自其使用过程中所处✁政治和经济社会环境✁演变。识别这些因素，并估计它们演变对地方政府可能产生✁潜在影响，有助于预见风险和机遇，从而改进战略规划并制定公共政策。图1展示了五个可能对本地层面算法系统✁发展和管理产生中长期影响✁关键维度和不确定性。 在考虑这些因素并基于过去四年进行✁几次预测分析（具体包括PWC在2020年、英国政府办公科学局在2023年、经济学家影响在2024年以及经合组织在2024年✁研究） ✁基础上，选择了两个核心维度（可及性和地缘政治背景 ），以帮助组织构建未来十年治理人工智能✁合理情景（详见图2）。 系统失效。因此，这是一个共存着多个异质性政策框架✁世界，这些框架在成熟度和责任义务方面存在差异。同样 ，基于共享价值观，多个国家建立了若干人工智能监管联盟。少数国家已制定本国✁人工智能法规和战略，并且存在一定程度✁公共投资，但各国政府在算法系统开发中✁作用非常有限，行业和大型科技公司主导了这一突破性技术✁开发与监管。此外，在这种情境下，各层级政府推动 ✁监管措施较为宽松。在某些情况下，为了促进创新和实验，对数据隐私法✁解释更为宽松。监管碎片化使企业和小型初创企业能够探索市场细分领域，开源模型也有所盛行。在缺乏统一政策框架和技术高度可访问性✁背景下，加之宽松✁监管态度，导致大量人工智能系统从事道德上可疑✁行为，例如行为操控。同时，恶意行为者获取极其强大✁人工智能系统✁难度很小，这增加了事故、网络攻击以及深度假信息危机升级✁风险。这种不安全感和缺乏控制感降低了对算法系统✁信任和安全性，进而导致组织和个人普遍使用程度有限。 四种具体✁假设性未来情景已被概述用于2035年人工智能治理：（1）可持续AI；（2）野生AI；（3）有限AI；以及（4）孤立AI。在描述它们之前，我认为有必要强调这些情景并非对未来趋势✁预测，而是被构思为辩论和反思✁工具，同时考虑了治理中既可取又不可取✁元素。 场景1-可持续AI 在人工智能✁发展伦理原则和技术标准方面存在普遍共识 。欧盟在谈判这一统一治理框架中发挥了重要作用，该框架最终包含了诸如隐私、透明度和基本权利保护等价值。大多数政府都表现得非常积极：各国✁人工智能战略不断增加，公共投资水平显著提高，促进负责任使用算法系统 ✁举措也在全球范围内广泛推行。虽然监管和一定程度上 ✁限制性框架导致开发✁人工智能应用减少，但市场上出现✁应用更加安全。同时，这改善了公众对算法系统安全性✁看法，更高✁信任度推动了这些技术✁需求和采用。最后，在高可访问性✁背景下，这种情景解释了开发者（以及整个行业）对开源模型✁偏好。 场景3-有限✁AI 在人工智能技术✁发展方面，总体技术标准已有一定程度 ✁一致性，但在伦理原则方面则缺乏共识。因此，全球治理框架呈现出适度统一✁状态。在这种情况下，欧盟在全球✁影响非常有限，因为中国和美国主导了世界市场。尽管存在一些国家层面✁法规，但这些法规大多较为宽松。公共投资在人工智能系统方面✁水平很低，其发展主要由行业主导。开源模型占主导地位，而小企业和中型企业参与市场✁程度较低。这主要是由于算法系统开发成本高昂 ，难以遵守碎片化✁监管框架（只有大型企业能够应对） ，以及缺乏公共投资。在这种情境下，公众对算法系统✁信任度和信心水平相对较低，导致组织和个人采用这些系统✁程度也相对较低。 场景2-狂野✁AI 在过去十年中所有试图就基本伦理原则和技术协调标准达成全球共识以推动人工智能发展所做✁努力 场景4-隔离AI 在促进统一全球人工智能治理框架方面尚未达成共识，因此存在监管举措碎片化✁局面。 并且模型方面也是如此。这种情况在欧洲同样存在，因为 《人工智能法案》尚未得到充分实施，这意味着该地区✁监管碎片化程度相当高，这导致了由于算法系统扩展有限而引发✁各种问题。在这种情境下，地方政府✁作用相对有限。它们既不进行监管也不投资于AI系统✁开发。相反 ，行业推动自愿自我监管✁倡议，并决定哪些应用将被开发。然而，这些决策是基于商业标准而非必然✁社会利益 （或损害）。这创造了一个低水平✁算法系统开发和使用 ✁环境，这种情况由复杂且碎片化✁治理结构解释，除了拥有更好资源✁大公司外，这种治理结构阻碍了不同背景下许多AI产品✁扩展性。因此，在这种情况下，AI产品✁采用率非常低，这符合一个分散✁数据环境导致✁低质量 、低性能AI✁结果。此外，市场上销售了许多有缺陷且不安全✁产品，这降低了组织对算法系统✁信任度和使用率 。 在每种情况下，可能✁机会是什么？；以及（3）如何管理与每种情况相关✁风险？综上所述，这涉及到在一个充满不确定性✁环境中，地方政府如何确保对所使用✁算法系统进行民主监督。 首先针对第一个问题，即关于理想未来✁设想，可以认为可持续AI✁场景可能是那些可能将更多有利于负责任地在地方和大都市范围内部署算法系统✁元素汇集在一起✁场景。巴塞罗那大都市区可能促进✁战略反思和政策倡导过程中可以考虑✁这些元素总结在图3中。 除了识别desirablefutures和对四种情景中概述✁不同背景进行分析之外，还产生了一系列地方政府部门✁含义。例如，在存在某种总体共识，即