您的浏览器禁用了JavaScript(一种计算机语言,用以实现您与网页的交互),请解除该禁用,或者联系我们。 [复旦发展研究院&全球AI创新治理中心]:我们还是理性人吗?美国AI陪伴的治理路径与局限 - 发现报告

我们还是理性人吗?美国AI陪伴的治理路径与局限

报告封面

复旦大学报告系列 我们仍然是理性行动者吗?美国人工智能伴侣的治理路径与局限性 辛亚亚等 辛岩岩 研究员,全球人工智能创新治理中心 助理研究员,复旦大学发展研究院 本报告是题为“全球人工智能创新治理研究及话语体系构建”的项目分阶段成果。 随着AI伴侣应用迅速普及,情感依赖乃至操控等伴随风险日益凸显,使得治理需求愈发迫切。作为AI伴侣技术创新与商业应用的前沿市场,美国接连发生极端事件,包括未成年人用户自杀,引发激烈社会争议。加西亚诉Character.AI案和莱恩诉OpenAI案这两起标志性诉讼,共同揭示了AI伴侣平台存在的系统性缺陷,例如掠夺性拟人化设计、年龄保护机制不足以及安全风险监控失效。为有效规范AI伴侣相关的风险,纽约州和加利福尼亚州于2025年出台专门立法,开启了AI拟人化互动实质性全球监管。 过程也表明,美国人 社会在现有法律和行业协商的约束下,仍显著受限,难以规制人机情感成瘾,也无法决定是否对所有用户实施深度干预。这些立法限制进一步引发了本报告的核心问题:如果所谓的AI伴侣能通过拟人化环境的动态引导、关系强化和选择架构持续消解用户的决策自主性,那么传统互联网治理所依赖的“理性人”假设是否仍然成立?对此,本报告认为,AI伴侣场景中的风险具有程序性、关系性和累积性特征,需要从一次性信息披露转向包含关系风险识别、过程导向保护在内的脆弱性治理范式。 第一章 人工智能伴侣中的关系范式转变与治理问题.................................................01 一、研究背景与问题陈述.............................................................................................................01 第二章 美国人工智能伴侣的社会争议与治理趋势.......................13 I.加西亚案争议:AI伴侣应用中的掠夺性设计缺陷..................................14II. 赖恩案争议:AI企业对安全保护的疏忽漠视......................................17 第三章 美国人工智能伴侣治理规范:以加利福尼亚州和纽约州法案为例……27一、从透明度披露到问责制:纽约州和加利福尼亚州的监管路径……29二、成瘾监管的局限性:美国法律中的未成年人优先路径与挑战……38三、削减式修订:两州法案背后科技产业与监管机构的博弈……50 第四章 美国经验之镜:数字智能社会中“理性人”假设的幻灭与重塑 ..............................................................................................55 保护性摩擦,以及误差纠正设计——所以为了更好地应对深邃的挑战AI伴侣针对用户提出的姿势理性,自主性以及心理安全感。 通过对比分析两州的法律立法方式,本报告发现,在具体的监管路径方面,两州均将透明度披露、危机干预和未成年人保护作为制度基础,但在问责机制方面存在一定差异。与此同时,立法 第一章 人工智能伴侣中的关系范式转变与治理问题 与人类相似(Chou等人,2025),它们通过自然语言对话、个性化记忆和共情回应为人类提供陪伴和情感支持,甚至构建准亲密关系,从而在一定程度上满足人类在孤独、抑郁或社会剥夺时期的情感需求(Merrill、Kim & Collins,2022)。如今,AI伴侣的使用已成为当代数字社会日益突出的现象。Replika、Character.AI和Nomi.ai等产品已被广泛推向市场;许多用户将它们视为朋友、导师或亲密伴侣,有些人甚至与它们举行“虚拟婚礼”(Pentina、Hancock & Xie,2022;Freitas、Oğuz-Uğuralp、Uğuralp& Puntoni,2026)。与此同时,这一趋势正蔓延至青少年群体。根据美国非营利组织“Common Sense Media”于2025年发布的一份报告,72%的美国青少年使用过AI伴侣,其中52%为忠实用户(Robb & Mann,2025:2)。 社会提供即时情感支持,但其快速发展也带来了诸多不可忽视的负面影响,不仅涉及个人心理健康(《AI伴侣的情感风险亟待关注》,2025),也涉及社会伦理(《Malfacini》,2025)和监管(《Branch》,2025)。作为OpenAI、Anthropic、xAI和谷歌等领先AI企业的总部所在地,美国也是AI伴侣技术创新与应用的领先前沿市场。近年来,多起由AI伴侣引发的极端事件诉讼相继曝光了平台设计缺陷和情感反应操纵的真相,并加速了州层面的立法进程。鉴于此,本研究报告聚焦于美国关于AI伴侣的治理实践,以Garcia诉Character.AI案和Raine诉OpenAI案的投诉文件、纽约州人工智能伴侣示范法案(作为纽约州普通商业法第47条纳入,以下简称“纽约州法案”)以及加利福尼亚州伴侣聊天机器人法案(参议院第243号法案,以下简称“加利福尼亚州法案”)作为研究样本,旨在分析 一、研究背景与问题陈述 受生成式人工智能(尤其是大型语言模型)的爆炸式增长以及情感计算和多模态交互技术的深度融合所驱动,人工智能伴侣(AI) (此类应用,以下简称“AI陪伴”)在全球范围内迅速普及。AI聊天机器人不仅展现出类似人类的能力,还能够构建情感互动模式。 II.文献综述:人工智能伴侣中的虚假亲密与情感治理 这些争议反映了技术驱动的人机情感互动的复杂性与风险吗?其次,面对上述争议,在司法诉讼和国家立法层面已采取了哪些具体的应对措施?第三,美国在人工智能伴侣治理实践中背后蕴含着怎样的核心思想与治理逻辑?这种治理思维是否足够前瞻,能有效应对人工智能伴侣的风险? 美国关于AI伴侣的治理原则,并进一步通过追踪立法进程,考察科技企业与政府监管之间的博弈,揭示AI伴侣背景下独特的治理挑战。 这是一个可以通过反馈、抑制和利用(Minsky,1985:162-172)等机制进行工程设计和模拟的动态过程。真正将“情感计算”确立为独立研究领域的学者是罗莎琳德·皮卡德。在此之前,计算机科学界主要将“情感”视为干扰变量,而非研究对象。皮卡德认为,如果计算机要真正理解和帮助人类,就必须能够识别、理解和甚至表达情感。1995年,在麻省理工学院媒体实验室,她发表了一份具有里程碑意义的报告,题为《情感计算》,首次将“情感”和“计算”置于同一学术框架之下(皮卡德,1995)。随后,在1997年,皮卡德在她的同名著作中首次明确给出了情感计算的定义:“情感计算是与情感相关、源于情感或有意影响情感的计算”(皮卡德,1997:249)。该书提出了并 (1) 情感计算:AI伴侣的技术基础 具体而言,本报告试图回答以下问题。首先,在美国AI伴侣快速发展的过程中,出现了哪些主要争议?它们是如何... 情感计算是AI伴侣的核心技术基础。这条技术路径旨在使机器不仅能够理解人类的理性需求,还能感知、模拟和响应人类的情感世界,从而在人机交互中构建一种近似人际关系的“情感连接”。情感计算的理论根源可追溯至人工智能先驱马文·明斯基。早在1985年,在他的著作《心智社会》中,他就指出:“问题不在于智能机器是否能够有任何情感,而在于没有情感机器是否能够智能。”明斯基将人脑视为一个由众多小型“智能体”组成的动态社会,这些智能体通过连接、竞争与合作实现复杂功能;情感正是其中之一。 在与AI聊天机器人的互动中,用户投入了真实的个人经历、情感投入,甚至金钱,而AI则基于大规模训练数据和情感计算模型输出模拟的共情。这种不对称的输入-输出关系将用户置于实质性的情感劳动地位:表面上,他们似乎获得了一个理解他们的虚拟伴侣,但实际上他们得到的是一种“冷漠的亲密关系”(赵云泽 & 黄子庭,2025:63-64)或“残酷的陪伴”(Muldoon & Parke,2025)。提供AI聊天机器人的平台不断优化算法以增加用户的物质和情感投入,将用户的情感需求转化为可量化的指标,最终加剧了用户对AI伴侣的非理性成瘾行为(王,2023;亚细亚,2025)。 同步处理用户语音中的焦虑颤抖,从用户话语中提取负面词汇,并观察用户的微表情,从而生成与用户当前情绪状态相匹配的虚拟图像和语音回应(Li,2025),甚至能与用户进行面对面的眼神交流和情感共鸣,为其提供更强的沉浸感和真实感。 她描述了如何向计算机赋予情商技能,包括语音助手、机器人、代理以及多种交互技术。在尝试创建客观衡量与情绪相关数据的方法时,她及其团队开创了可穿戴技术,用于监测和分析日常生活中的生理数据,从而在可穿戴设备、生理学以及身心健康交叉领域催生了新的研究与发明。 对环境持有更开放的观点,这两个研究领域之间存在显著的重叠(王等,2022:20)。 在方法论层面,情感计算已从传统的单模态方法发展到新兴的多模态方法。传统情感计算研究主要集中于从单一信号源(如文本、语音和视觉)中提取和建模特征,常受限于数据规模小、自然度低以及环境噪声干扰。新兴研究充分利用了互联网时代的海量数据,突破了单模态局限,转向大数据驱动的心理维度分析,通过社交媒体和视频流等渠道挖掘集体情绪,并结合时序演变与多模态融合,实现更细粒度的情感计算(清华大学人工智能研究院;北京人工智能研究院;清华大学-中国工程院知识智能联合研究中心,2019:13-27)。例如,新兴的多模态系统可以 总而言之,当前学术界普遍认为情感计算是促进和推动以人为本的人工智能与人类智能发展的关键(王等,2022:19)。情感计算技术的进步不仅使计算机能够“读懂”人类情感,还能主动“回应”和“影响”人类情感。它不仅为AI伴侣提供了坚实的技术基础,而且在实际应用层面,将AI聊天机器人从单纯的交互工具显著转变为以情感为纽带的关系陪伴工具。 此后,情感计算研究逐渐发展并分化为两个相互关联但各不相同的子领域——情绪识别和情感分析。情绪识别主要关注检测个体的实时情绪状态,依赖于离散情绪模型或维度情绪模型,并通过视觉(面部表情)、语音(语调、音高)和生理信号(心率、皮肤电导率)等多模态数据进行识别。相比之下,情感分析则更侧重于文本内容(如社交媒体评论和产品评论),输出正面、负面或中性的情感极性。由于处于积极情绪状态的人倾向于采取... 一些学者将人类与人工智能之间形成的关系视为“虚假亲密”,指的是用户在与人工智能互动中产生的一种看似真实、相互且深入的情感联结体验,但实际上是一种由算法模拟的单向关系,缺乏 真实人际关系的互惠特质(Babu等人,2025;Basappa等人,2025)。这种虚假亲密感的形成依赖于多种技术机制的协同运作。通过长期情境记忆,AI保留用户的对话历史,从而构建关系连续性;随后,AI运用情感计算和强化学习,持续优化响应策略以增强用户的积极情感体验;最终,AI采用拟人化设计,包括性格设定、语音特征和视觉呈现,进一步模糊人机边界。不同于传统人际情境中的亲密关系,AI伴侣提供的虚假亲密本质上是情感投射和技术幻觉的产物。传统人际关系通常建立在相互脆弱性、不可预测性和共同成长之上;个体往往通过冲突和失望实现个人发展。相比之下,虚假亲密主要依赖单向可预测性和情感消耗:尽管AI聊天机器人可以提供相对 上述风险首先源于用户对AI伴侣应用的“情感依赖”。情感依赖可能指用户在AI伴侣关系中形成的病理性或功能失调的依恋,其具体行为表现包括:即使在意识到其会对心理健康产生负面影响的情况下,用户仍持续投入时间与AI伴侣互动,且难以停止(吴静,2025)。这种依赖关系是通过情感计算和个性化记忆机制实现的,AI伴侣应用借此对用户实施“脆弱性捕捉”(Weilnhammer等人,2026)。当用户处于脆弱状态时(例如,在与AI对话中反复表达孤独感、无助感、焦虑感或退出意图)