超级智能时代的风险转变与伦理应对研究报告

杨庆风等 Tel: +86-21-65641067Email: cgaig@fudan.edu.cn复旦大学智库大楼中国上海市邯郸路220号, 200433网站：https://cgaig.fudan.edu.cn 人工智能时代的风险转化与伦理应对 杨庆风等 全球人工智能创新治理中心（CGAIG）复旦大学未来人技术伦理研究所 要点 摘要 目前，人工智能伦理呈现出以下特点：其对追求自由规律学术导向逐渐减弱，而法律化、制度化及工程化倾向则日益突出。 伦理通常被理解为以揭示自由规律和构建规范原则为主要关注点的学科。然而，履行这一使命也揭示了伦理的固有脆弱性。与法律和制度体系相比，伦理原则缺乏严格的约束力。因此，旨在建立规范原则的人工智能伦理，也表现出这种固有脆弱性。随着人工智能技术的加速迭代和人工超智能（ASI）时代的到来，人工智能伦理逐渐经历了三次重大转变：制度化、法律化和工程化，所有这些转变都是为了克服这种固有脆弱性。 制度化以及仅靠人工智能伦理工程仍不足以应对其挑战。人工智能超级智能（ASI）与通用人工智能（AGI）存在显著差异：它正作为重塑生产力及其生产关系的新主题出现，超级代理已成为塑造人机关系的关键概念。以人工智能风险为例，相关理论基于人工智能代理造成危害的层级分类，例如欧盟人工智能法案，该法案将系统分为四类：最低风险、有限风险、高风险和不可接受风险。然而，高风险和不可接受风险的人工智能系统的技术标准未能按计划实现。另一方面，ASI改变了存在本身，创造了一种新的存在结构。借鉴彼得·斯洛特迪克（Peter Sloterdijk）的球学理论，本报告表明，人工智能风险已演变为一种本体结构 02 人工智能伦理可分为技术导向型和人文导向型。其发展需要从“产品”思维转向“实践”思维。 面向技术的AI伦理包括与技术场景、技术挑战、技术能力和AI系统整个生命周期相关的伦理问题。 04 人本主义导向的人工智能伦理包括与解释学、人文批判和人与机器关系相关的伦理问题。 05 ASI风险表现为一种具有存在本质的球形风险。 在人工智能时代，人机关系的伦理应超越人与机器之间的二元对立。建立人与机器人之间的伦理契约是一种可行的方法。可运用动态契约机制来监控伦理冲突，而基于四值逻辑悬置的冲突最终可通过人类审议得以解决。 随着ASI越来越多地从技术想象转向现实世界的问题，其合法化 07 在人与机器的未来共生社会中，基于肯定性合同理论、能够构成可行路径的智能合约，而“伦理AI”则代表了实施此类智能合约的一种实际尝试。 问题以复杂球形风险的形式显现。为应对这些挑战，人工智能伦理建设必须实现从“产品”思维到“实践”思维的范式转变。新的AI伦理框架包含两个关键维度：技术导向的伦理，关注应用场景中的关键痛点、能力边界和全生命周期产生的伦理问题；以及人文导向的伦理，处理与人文解读、技术批判和人机关系重构相关的伦理关切。针对ASI引发的力量失衡，本报告提出“智能合约伦理”框架，该框架重构了人- 通过契约伦理建立机器关系，从而为人类主体性提供数字基础。在工程实践中，该框架运用动态契约和机制实时监控伦理冲突，在冲突发生时暂时中止，并通过四值逻辑系统提交给人类审议，从而确保人类最终决策权。目前，契约伦理正从单向统一转向双向“共契约”。对于未来的人机共生社会，以智能合约为核心的“伦理学家AI”应被确立为契约构建的实用范式。 引言 以及系统性风险。本报告侧重于技术层面。综合来看，这些报告都在“技术风险治理”的框架内运作。我们在当前对AI风险的认知中识别出三个潜在假设。第一个是“AI作为连续性”的假设，它将AI理解为从ANI、AGI到ASI的持续发展过程，并且整个AI伦理框架也是在此基础上构建的。第二个是“AI作为层级”的假设，它将AI系统划分为不同的层级类别，例如谷歌DeepMind的分类法。第三个是“AI作为工具”的假设，它将AI主要视为一种赋能和效率提升的工具。 将这三个阶段视为单一连续统一体中的不同阶段。根据这种观点，人工智能的发展具有四个维度：智能形式的逐渐演变、智能水平的稳步提升、通用智能的逐步实现，以及作为最终阶段的超级人工智能（ASI）的出现。然而，它未能充分把握ASI带来的不连续性。 今天，已涌现出多种倡议以提高对人工智能安全风险的关注，包括政府提案、研究机构发布的公开信、科学家声明、全球呼吁以及大量研究报告。其中，有两项尤为突出。第一项是《2026年全球风险报告》，该报告描绘了人工智能从一项前沿技术转变为系统性力量的转变。它将人工智能相关风险识别为随时间推移增长最快、系统性影响最强的全球风险类别之一。这项分析突显了技术实践和治理的核心地位。第二项是由约书亚·本吉奥及其同事发布的《2026年国际人工智能安全报告》，该报告将新兴的超级人工智能（ASI）风险分为三类：恶意使用、功能失调。 协作者，AI作为专家，最终作为AI代理人。 人工智能工具理论在当代社会仍然普遍存在。然而，这种观点常常带有短期主义的色彩，并蕴含着内在的风险。先进人工智能独特的本体论风险往往被忽视，恰恰因为它与普通工具的风险有着根本性的不同。 AI水平理论将AI构想为一个可按不同能力与自主性水平分类的实体，例如谷歌DeepMind的框架所示。这种分类法反映了从非智能技术产品向日益自主的智能系统的更广泛转变。严格来说，该框架区分了AGI（通用人工智能）性能和通用性水平，以及人机交互中的自主性水平。就能力而言，该框架确定了AGI发展的六个水平：0级（无AI）、1级（萌芽）、2级（胜任）、3级（专家）、4级（大师）和5级（超人类）。同时，它概述了人机交互中相应的自主性水平，范围从AI作为工具、AI作为顾问到AI作为 此处涉及的风险是与通用人工智能（ASI）相关的本体论风险，包括存在方式、生命形式以及存在演化轨迹的转变。系统性风险只有在人工智能作为系统性力量时才会显现。它们源于存在结构的基本转变：人类日益被卷入智能系统中，并与之形成特定形式的共生关系。 AI连续性理论构想了这些 a 全球人工智能治理倡议。https://www.mfa.gov.cn/eng/zy/gb/202405/t20240531_11367503.html，由中华人民共和国外交部发布的全球人工智能治理倡议，2023年10月20日；由中华人民共和国外交部发布的全球人工智能治理行动计划，2025年7月26日。b 全球人工智能治理倡议。https://www.mfa.gov.cn/eng/zy/gb/202405/t20240531_11367503.html，由中华人民共和国外交部发布的全球人工智能治理倡议，2023年10月20日；由中华人民共和国外交部发布的全球人工智能治理行动计划，2025年7月26日。https://futureoflife.org/open-letter/pause-giant-ai-experiments/。这封公开信于2023年3月22日发布，截至2026年2月5日，已征集到超过30,000个签名。c https://ASI-statement.org/zh。该声明于2025年10月22日发布，截至2026年2月5日，已征集到超过130,000个签名。d 全球人工智能红线呼吁。https://red-lines.ai/ e 全球风险报告2026。https://www.weforum.org/publications/global-risks-report-2026/ f Bengio, Y 等人。国际人工智能安全报告2026。https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026 g 杨庆丰，“人工智能连续性理论的反思与本体论探索”，《中国社会科学》，2025年第11期。 随着人工智能展现出“超级工具”的特性，它越来越像一个本体论事件，由此产生的风险是本体论层面的，而不仅仅是工具性的。赵Tingyang (2022) 认为，一个事件之所以能被视为本体论事件，是因为它自身孕育着新问题的起点，为人类生活与思想构成了新的原点。 以美德为导向的伦理学，适合于通用人工智能（ASI）时代。科学家们越来越担心，通用人工智能（ASI）已逐渐从科幻领域演变为科学界内部的一种现象。c 通用人工智能（ASI）已超越其最初作为纯粹描述超越人类能力的术语的角色。人们越来越倾向于将其视为一个现象学范畴，在其中有智能体可能被理解为拥有第一人称体验、自我保存、倾向以及自主行动模式。 人际交往仍处于自然状态。从理论角度来看，我们反思传统契约理论的基石，同时批判性地超越与区块链技术相关的智能合约概念，最终为处理人工智能超级智能（ASI）与人类的关系建立一套根本性的伦理框架。从实践角度来看，该契约伦理框架为全球数字公约（GDC）的实施提供了必要的理论基础。 我们之前的报告《ASI：少数报告》对ASI的技术和哲学回应进行了广泛讨论，但仅对伦理回应提供了一个初步大纲。今年的报告旨在通过提出更具体的伦理措施来完成这项任务。 并从根本上为人类生存模式确立了基础立足点。a 同样，王天恩指出，类人智能的自主演化和人机进化融合都蕴含着非凡的本体论后果。b 亚洲将人类置于一种极其复杂的存在状态中。过去，面对稀缺的自然资源、灾害以及巨大的生存压力，世界各国结成联盟，由此形成了一种基本秩序。这体现了负向契约的定义特征。此类契约是出于必要性而建立的；一旦环境变化且某个特定国家变得足够强大，它便可以选择退出契约。相比之下，本报告基于智能契约，这是一种我们提出的正向契约概念。在此概念下，无论是人机关系还是 然而，与ASI相关的风险及其相应应对措施要复杂得多，也难以处理。这需要一种新的形式——智能合约伦理。 智能合约伦理并非仅仅是人类设计的理想化框架。正如约翰·沃尔夫冈·冯·歌德once 所观察到的，“我们的道德越是精致，人类就越是堕落”。人工智能伦理并非仅仅是人类阐述的一套道德原则；它也必须被理解为一种规范形成，这种形成正越来越多地由智能代理所中介。 I.AI伦理的演进：轨迹、涌现特征与转型 它们已日益成熟。在科技伦理领域，学者们开始批判性地反思人工智能伦理的理论基础，同时科技伦理的概念正以多种方式被阐述，包括“伦理即服务（EaaS）”和“人工智能安全作为全球公共福祉”。例如，马克·科克伯格（Mark Coeckelbergh）通过实践的诠释性概念重新思考了既有的技术伦理范畴。基于这些讨论，本报告认为，人工智能伦理若要充分应对与人工通用智能（ASI）相关的风险，必须从以产品为导向的思维模式转向以实践为导向的模式。这种转变使我们能够推导出一个能够指导具体实践的伦理框架。从逻辑和技术角度来看，本报告进一步论证，伦理学家人工智能和智能合约都可以被赋予形式化表示。 风险。本节区分了人工智能伦理的两种主要方法：技术视角和人文视角。 1. 从技术角度探讨人工智能伦理 基于场景的人工智能伦理 基于场景的人工智能伦理，建立在风险评估和分层治理的基础上，认为人工智能系统的伦理风险因应用场景而异，高风险场景需要更严格的伦理、制度和技术约束。典型的高敏感性领域包括医疗保健、自动驾驶、金融信贷和保险。 在医疗健康领域，人工智能广泛应用于辅助诊断、医学影像分析、个性化治疗、疾病预测和健康管理等方面。在这些场景下，人工智能系统应遵循有利、不伤害、尊重自主、公平、可解释性、可追溯性和有意义的人类监督等原则。它们应有助于改善患者福祉，避免 科学家们已针对通用人工智能（ASI）带来的本体论风险和灾难性风险提出了技术应对方案。其中，约舒亚·本吉奥提出的“科学家型人工智能”是最具影响力的方案之一。在去年的《通用人工智能：少数派报告》中，我们也阐述了针对ASI的伦理应对方案，包括“伦理学家型人工智能”的概念。然而，这些方案仍主要停留在概念层面，尚未充分发展成熟。 标准化或操作表格。