2024年人工智能算法影响评价体系构建与应用实践报告

清华大学CIDEG研究项目 研究报告（结题） 人工智能算法影响评价体系构建与应用实践 2024年3月 委托方：清华大学产业发展与环境治理研究中心 课题负责人： 贾开上海交通大学国际与公共事务学院长聘副教授 课题组成员： 赵静、傅宏宇、陈少威、元圣平、杨欣宇、朱韵涵 清华大学产业发展与环境治理研究中心 地址：北京市海淀区清华大学公共管理学院615邮编：100084 电话：(86-10)62772497 传真：(86-10)62772497 邮箱：cideg@tsinghua.edu.cn 主页：http://www.cideg.tsinghua.edu.cn 目录 1.人工智能算法影响评价的背景：界定治理问题4 1.1.算法歧视治理风险5 1.2.算法公平治理风险8 1.3.算法安全治理风险10 1.4.本章总结12 2.人工智能算法影响评价的内涵：描述治理实践13 2.1.人工智能算法影响评价的制度内涵及其治理定位13 2.1.1.算法影响评价的制度内涵13 2.1.2.算法审计的制度内涵15 2.1.3.算法影响评价与算法审计的共性与差异16 2.2.人工智能算法影响评价的三种模式：环境影响评价、数据保护影响评估、列表清单17 2.2.1.环境影响评价视角下的算法影响评价17 2.2.2.数据保护影响评估视角下的算法影响评价20 2.2.3.问题列表清单评估视角下的算法影响评估22 2.2.4.不同模式的对比分析26 2.3.人工智能算法影响评价的国别特征：欧盟、美国、英国、加拿大与中国26 2.3.1.欧盟26 2.3.2.加拿大31 2.3.3.美国35 2.3.4.英国41 2.3.5.中国47 3.人工智能算法影响评价的治理逻辑：监管者与被监管者的合作51 3.1.协同治理（CollaborativeGovernance）视角下的人工智能算法影响评价52 3.2.管理主义（Managerialism）视角下的人工智能算法影响评价55 3.3.制度同化（InstitutionalIsomorphism）视角下的人工智能算法影响评价60 4.人工智能算法影响评价的未来改革：形成政策建议61 4.1.人工智能算法影响评价的制度要求：开放性、合作性、责任性62 4.1.1.开放性62 4.1.2.合作性63 4.1.3.责任性64 4.2.通用人工智能算法影响评价的体系框架：理论基础、层次结构、流程指标65 4.2.1.理论基础：心理计量学与机器行为学的理论融合创新65 4.2.2.层次结构：技术、组织、社会71 4.3.通用人工智能算法影响评价的政策建议错误!未定义书签。 人工智能算法影响评价（algorithmimpactassessment,AIA）作为一种治理机制已经被普遍性地纳入各国算法治理的框架体系之下，但其本身的制度定位与制度逻辑却尚未得到充分讨论。较为典型的反思性问题例如：人工智能算法治理的何种关键特征，使得我们需要纳入人工智能算法影响评价（即人工智能算法影 响评价的必要性问题）？与往往被视为其前身的环境影响评估、数据隐私影响评估相比，人工智能算法影响评价体现了更多的继承和连续性，还是差异性（即人工智能算法影响评价的特殊性问题）？人工智能算法影响评价治理绩效的发挥，受到何种因素的影响（即人工智能算法影响评价的局限性问题）？ 对于这些问题的探索性回答，构成了本报告的主要内容。 1.人工智能算法影响评价的背景：界定治理问题 人工智能算法治理的特殊性，是开启人工智能算法影响评价制度建设的起点。从基本内涵来讲，人工智能算法影响评价是指技术研发者、部署者、应用者需要预期、测试、评估技术创新和应用过程中所可能带来的多维度影响，并对结果进行记录、公开或向监管者汇报，进而在积累算法治理经验与知识的同时，对其研发应用过程进行调整以避免负面伤害。作为一种监管手段，人工智能算法影响评价事实上将监管环节延伸至企业内部，要求企业基于评价结果以改变其技术创新和应用过程，而这一思路在很大程度上与传统的监管思路存在本质不同。 在经典监管理论看来，监管的目的旨在对市场失灵现象作出回应，以避免出现权益侵害风险。换言之，监管是直接面向可能出现的风险而展开，其针对的是风险结果而并不特别在意导致风险产生的过程。但影响评价制度却“反其道而行之”，即其更关注过程，并要求作为一线主体的技术创新者、应用者基于评价结果而对其内部的技术生产、应用过程作出调整。如果说传统监管仍然建立在较为 明确的“市场-政府”边界基础上，那么影响评价制度则打破了这一“二分法”， 而直接切入进企业内部生产管理过程，以求对风险作出回应。由此带来的关键问题便在于，为什么我们需要跳出经典监管理论范畴而将监管“触手”延伸至企业内部，为什么需要施行影响评价制度？ 对以上问题的一个简洁回答是，在多类型的市场行为中，存在大量的“未知 风险”：这既包括因监管者与被监管者之间存在信息不对称而导致前者“未知”的风险，也包括监管者、被监管者都不知道的“未知”风险（即“共同无知”）。环境影响评估、隐私影响评估都属典型案例。接下来本报告通过三个算法治理的典型案例对此问题作出更详细的回答。 1.1.算法歧视治理风险 算法歧视风险可能是最被频繁提及的算法治理风险之一，这不仅是因为其可能是最容易被观察到（或感知到），也源于算法（特别是人工智能算法）的基本技术与应用逻辑所致。换言之，算法正在被大规模应用于各个领域的决策场景（例如招聘简历筛选、信用评分评级、公共服务审核批准、犯罪风险评估、警力资源部署等等），而这些决策场景往往都跟人们的切身利益紧密相关，并尤其与一般意义的社会公平以及具体意义上的少数或弱势群体的特殊属性紧密相关，后者又表现为性别、种族、肤色、身体、收入、地域、行为偏好等具体指标。在此背景下，当人们普遍关心决策歧视问题时，算法作为决策功能的应用便自然与此紧密关联了起来。 一般而言，从算法作为决策功能的基本逻辑和流程来看，引致算法歧视风险的原因可被主要总结为三点。第一，因算法决策目标选择的主观性而带来的偏差与歧视。考虑到决策目标往往都较为宽泛，因而在具体算法设计时往往需要将其转化为更具体指标，而这一转化过程依赖算法设计者、部署应用者的主观性，由此便可能因人为主观意图而导致歧视结果。例如招聘决策的目标是寻找到“优秀”人才，但“优秀”这一决策目标过于宽泛，其不得不转化为学历、资历、外表等维度的具体指标，而究竟选择何种指标来测度、衡量“优秀”（或者是不同指标相对权重大小的设置）便将体现算法设计者或部署应用者的主观性。即使算法设计者或部署应用者并没有“人为、故意”的设置歧视性变量，主观性选择本身始终都会面临是否“公平”的质疑与拷问。第二，在具体指标既定的前提下，采纳何种数据集以对该指标进行测度将是引入歧视的第二个关键环节。数据集往往需要人为标注、整理、清洗以最终服务于算法模型的训练与优化，但在每一个环节都将可能引入主观性偏差或歧视。即使基于“大数定律”可能削弱或消解个别数据标注、整理、清洗时的人为偏差，但数据集作为对现实复杂性的“抽样”，其 是否能够完全“表征”现实仍然存疑，而数据集相对于现实的任何偏差都将自然导致“歧视”结果。第三，在指标既定、数据集既定的前提下，究竟采用何种模型架构也同样存在引入“歧视”的可能性。尽管可以通过特定技术指标来比较不同模型的公平性程度，但算法永远都可能存在“漏洞”的本质属性仍然使得我们不可能在绝对意义上精确比较不同算法架构的公平性强弱水平，这也使得任何选择都仍然是具有主观性的，并因此可能是“歧视”的。 值得注意的是，上述三点原因的总结还只是聚焦在技术层面，即指出人工智能算法技术实现过程中可能引入的歧视因素，但这明显还是不完整的，上述分析尚没有对人工智能算法歧视问题的特殊性作出概括，而后者还需要结合算法应用的制度环境、社会环境才能得到更充分的解释。也正是在此基础上，我们才能更清楚地理解算法影响评估制度的必要性。具体而言，这又体现在以下两个方面。 一方面，以“过错原则”为基础而建立的现行“反歧视”法律框架，不仅要求明确权益侵害的现实，还要求明确导致权益侵害“过错”的因果链条，而这二者在算法决策的应用环境下都将面临新的不确定挑战。 就前者而言，与非算法决策环境相比，基于概率计算的人工智能算法决策结果具有更高不确定性，导致人们事实上很难提前预知每一次特定算法决策结果是否会产生歧视性结果，并因此增加了确认权益侵害现实的难度。在非算法决策环境下，导致歧视结果的原因往往是可解释的、制度性的，并因此可在合理范畴内预期每一次以及一般性的决策结果；相比之下，算法决策逻辑是反过来，尽管决策结果的一般性特征是可预期的，但每一次决策结果却是不确定的，由此使得歧视结果的追踪、确认必须建立在不断且大量的测试、记录、统计基础上，这也自然增加了歧视性权益侵害确认的成本和难度。 不过这还不是算法决策带来的唯一挑战，歧视性权益侵害“过错”因果链条的追寻还将面临更大的不确定性困境。1歧视问题的分析视角大致可被划分为两种：基于受害者视角以确认导致歧视的客观（例如肤色、种族、收入、出生地等）或主观条件（例如机会、认知、偏好等）并加以解决，基于过错者视角以分析决策者行为的中立性程度从而确保其不会加剧不平等结构。考虑到导致歧视性结果 （或不平等结构）的原因是复杂而综合的，单靠法律规则本身难以对此作出全面 1Freeman,A.D.(1977).Legitimizingracialdiscriminationthroughantidiscriminationlaw:AcriticalreviewofSupremeCourtdoctrine.Minn.L.Rev.,62,1049. 应对，因此现行的反歧视法律框架主要采取了过错者视角而非受害者视角，其制度关键在于确保决策者行为的“中立性”而非直接面对、解决导致歧视问题的具体因素。在执行逻辑上，反歧视法律框架要求将决策者行为与被决策对象所处社会环境相独立，并通过比较可能的不同决策方案以判断决策者实际行为在影响受保护权益属性方面是否“中立”。当面对算法决策的新现象时，这一制度设计逻辑将至少面临算法决策的嵌入性与不可穷尽性这两种不确定性挑战：就嵌入性而言，与非算法决策相比，算法决策与社会环境的相互影响关系更为复杂，其基于数据训练的技术逻辑导致其很难被独立于社会环境而展开“中立性”分析；就不可穷尽性而言，算法决策技术方案的多样性使得我们很难证明某一特定决策算法的歧视性是最低的（或“中立性”是最强的），这也使得在算法歧视问题的治理中我们往往只能比较算法决策与非算法决策，而不能比较不同算法决策方案之间的结果差异，由此司法责任的界定标准也只能演化为判断算法决策者是否尽到了比较义务而非是否采用了“最中立”算法2。 另一方面，除了制度环境的讨论之外，产生歧视的社会环境在算法决策普及的情况下也将体现出新的治理复杂性。事实上，诸多研究已经揭示，歧视更多表现为社会建构问题而非生命特征属性问题，即歧视性结果并非源于不同个体生命特征属性的差异，而是社会生产生活进程的演化结果。3举例而言，对于黑色族裔人群而言，导致歧视性结果（或分化性结构）的真正原因是其成长、学习、工作的整个社会生产过程，而非种族或肤色这些表面的生命特征因素；换言之，在反事实假设情况下，即使将白色族裔人群置于当前黑色族裔人群的生存环境，其同样可能面临类似的歧视性结果。在将歧视视为社会建构问题的视角下，算法决策普及带来的新复杂性在于其将陷入或者简化，或者复杂化的“悖论”：对于不是建立在机器学习基础上的非人工智能算法而言，其要求将复杂现实抽象为具体变量的基本逻辑，极大简化了歧视作为社会建构问题的复杂性，将产生“缘木求鱼”的治理错位结果，即针对具体变量的歧视风险治理措施可能错误定位问题内涵而起不到救济作用；与之相对，建立在海量数据学习、训练基础上的人工智能算法，其可能把握住了导致歧视结果的社会过程的复合性、综合性影响，但却受限于可 2Oppenheimer,D.B.(1992).Negli