基于案例的因果分析的严格性：通过实证打破神话（英）

的严密性基于案例因果分析 打破神话通过示范 埃斯特尔Raimondo IEG方法和评价能力发展工作文件系列 ©2023国际复兴开发银行/世界银行 H街1818号西北华盛顿特区20433 电话:202-473-1000 互联网:www.worldbank.org 归因 请引用报告为：雷蒙多，埃斯特尔。2023.基于案例的严格的因果分析:通过示范打破神话。IEG方法和评价能力的发展 工作文件系列。独立评估小组。华盛顿特区：世界银行。 管理编辑 乔斯VaessenAriyaHagh 编辑和制作 阿曼达·奥布莱恩 平面设计 路易莎Ulhoa 这项工作是世界银行工作人员在外部捐助下完成的。研究结果，本文中表达的解释和结论不一定反映 世界银行、其执行董事会或其所代表的政府。 世界银行不保证本工作所含数据的准确性。界—— 本作品中任何地图上显示的白羊座、颜色、面额和其他信息并不意味着世界银行关于任何领土或 认可或接受这样的界限。 权利和权限 本作品中的材料受版权保护。因为世界银行鼓励讨论根据其知识，本作品可以全部或部分复制用于非商业性目的，只要给出对这项工作的完全归属。 任何关于权利和许可（包括附属权利）的查询，都应向世界提出 世界银行出版物，世界银行集团，1818HStreetNW，华盛顿特区，20433，美国;传真： 202-522-2625;电子邮件:pubrights@worldbank.org。 基于案例的严密性因果分析 打破神话通过示范 埃斯特尔Raimondo 独立评估小组 2023年4月 内容 缩写 �四世 作者 �六世 文摘 �八世 介绍 �x 1.设计因果推理和泛化性 如何推断因果关系 �2 4 如何从案例归纳证据 5 总体设计 7 结构的因果理论 9 可靠的情况下选择 10 分摊因素选择 12 系统的定性数据收集 13 2.分析 �16 3.说明结果 �22 结论 �28 参考书目 �32 二世 缩写 清洁发展机制 ERPAQCA 清洁发展机制减排购买协议定性比较分析 独立评估小组|世界银行集团v 作者 埃斯特尔Raimondo,评价高级官员 作者联系 独立评估小组,世界银行集团 独立评估小组|世界银行集团七世 文摘 在研究和评估界，关于权力和 以案例（或案例研究）为主要评估设计的局限性 经验材料（基于案例的评估设计）。使用实际应用程序，本文打破了关于在评估中使用基于案例的设计的两个神话旨在回答有效性问题并解开两者之间的关系 干预措施和观察到的结果变化（广为人知的因果分析）：案例研究不能用于因果分析，也不可能 从案例研究中概括。通过详细演示如何评估世界银行对碳融资的支持已经设计和实施，这篇论文推翻了这些关于推理、解释和 基于案例的评估设计的泛化能力。 独立评估小组|世界银行集团第九 介绍 在过去十年中，关于各种影响方法的严谨性的辩论评估和因果分析取得了重大进展。有越来越多的共识是，问题必须推动此类评估的方法 而不是相反（Ravallion2020），某些类型的因果问题关于正在评估的干预措施根本不适合自己 到（准）实验设计（Stern等人，2012年），以及各种方法-在回答各种类型的问题方面，逻辑学具有不同的比较优势 因果问题（AFD2022;贝法尼2012;象限委员会2017）。认识论- 从逻辑上讲，关于斯坦的重新定义正在出现一些共同点- 严谨（例如，希门尼斯等人，2018年;约翰逊和拉苏洛娃2017），摆脱任何一种方法都是黄金标准的想法 所有的质量标准进行研究。 在另一个机构运动中，为促进（准 实验性影响评估目前正在探索纳入的途径 其他方法（迪克森和班贝格2022）。关于如何将定性方法纳入影响评估，以补充量化 在过去几年中，方法急剧增加。然而，定量驱动的影响评价所包含的严格程度 定性方法仍然薄弱，因为最近对影响的审查评估显示(吉梅内斯etal.2018年)。 认识到有必要扩大用于 因果分析也在增加（Stern等人，2012年;希门尼斯等人，2018年）。作为一个实践社区，评估人员已经开始尝试各种冰毒 因果分析的ODS，借鉴社会科学的其他学科和适应现实世界的评估约束（施密特2020）。关于因此，在影响评估中应用替代方法蓬勃发展，在-主要关于结合基于理论的方法使用案例研究 作为他们的主要经验材料，例如贡献分析（例如， 德拉哈伊斯和图莱蒙德2012;凯恩等人，2021年;Ton等人，2019年）;现实主义的评价—— 基础的方法(Kazi2003);流程跟踪(Befani2021;Raimondo2020; 罗斯冈和拉格曼2021）;和定性比较分析（Befani2016; 汉克尔等人，2021年）。然而，这种文献仍然是新兴的，其适用性，这些不同方法的质量和有用性需要更多的测试。 独立评估小组|世界银行集团习 此外，一些神话和误解仍然存在，尽管多次尝试 破坏他们（Flyvbjerg2006;维德纳、伍尔科克和奥尔特加·涅托2022），并阻碍在评价实践中更广泛地采用基于案例的因果分析方法。 其中第一个涉及基于案例的方法的推理能力。 分析（卡特赖特2022年）。有一个普遍的误解，即因果关系主张只能建立在涉及分析大量观测值的方法上 使用反事实思维。第二个与泛化性有关（外部 nal有效性）通过基于案例的方法建立的因果关系。误解这是通过案例分析产生的证据必然是轶事 和特定案例，不能转移到其他案例。综合起来，这些两个神话助长了基于案例的因果分析方法未能 产生有助于为政策提供信息的调查结果和证据，从而缺乏在实践中价值。 本文通过证明（i）基于案例的应用来打破这些神话基于理论的方法可以导致稳健的因果推理和解释从而填补了关于发展干预影响的重要知识空白- 以及（ii）可以从案例研究中概括出来，从而概括为关于复杂干预的内部运作的实用和有用信息 以及干预措施或多或少成功的条件。 这里展示的演示是基于对世界的因果分析世行通过发展减排支持碳融资 1999年至2012年的采购协议。碳融资机制使高污染国家抵消其碳排放;世界银行支持- 通过支持以下项目，越来越多地使用这些机制：在发展中国家引进新技术，如可再生能源 项目、重新造林项目或废物收集项目，减少 在温室气体排放中，高污染国家可以反过来购买作为一部分他们的碳抵消努力。减排量购买协议是一种 这种系统可以发挥作用的合同工具。世界银行扮演碳基金受托人的角色，同意支付购买某个 资产数量（减排量）;付款在交货时进行。这促使本文进行因果分析的评价问题是， 世界银行集团主要碳融资干预措施的效果如何在（i）促进和发展碳市场以及利用私人投资方面 （ii）减少温室气体排放，以及（iii）generating示范对技术和碳金融的影响吗? 演示分为三个部分。第一部分列出了 因果分析中使用的方法，强调设计中的原则 十二世案例因果分析的严密性|介绍 解决因果推理和泛化性的分析。第二节显示如何进行案内因果分析;应用说明- 以下是跨案例因果分析。第三部分显示了调查结果可以说明并集成到其他分析中。本文最后以 讨论基于案例的方法的适用性及其相对优势，和他们的局限性。 独立评估小组|世界银行集团1 1 设计为因果 推理和 普遍性 如何推断因果关系 的结构 因果关系理论 总体设计 系统的定性 数据收集 如何推断因果关系 在某种程度上，引言中讨论的神话之所以存在，是因为缺乏对不同技术背后的各种因果理论的认识 影响评估的方法（卡特赖特2022年）。回答关键 关于什么在干预措施中起作用、对谁有效、在什么下起作用的评估问题情况、方式和原因（这是影响评价企业的关键） 需要将这些技术和方法结合起来进行因果推理。一个简单的回顾。 传统的因果关系解释是基于因果关系是正则的观念。发现在一起，并且可以通过观察模式来识别因果关系 规律性（Befani2012）。在实践中，使用统计因果建模的方法检查大量病例中是否存在干预和结果， 假设因果关联随着病例数量的增加而增强 两者都存在增加。但是，因为不可能考虑所有可能的情况只会共享因果关系（称为密尔方法协议），研究人员诉诸另一种解决方案：比较 除因果关系外，所有账户都相似（密尔的差分法，也称为反事实思维），其中因果推理集中在 在自变量之间建立奇异因果关系 （干预）和结果（因变量）。主要因果问题—— 利息的产生侧重于边际（净）效应对间效应的归属。通风。虽然确定这些类型因果关系的首选方法 关系是试图创造反事实情境的（准）实验 （Befani2012），思想实验，例如快速影响评估或虚拟现实的新兴应用也涉及反事实思维（Rowe 2019;古勒克等人，2014年）。这些技术最适合测量平均值干预对感兴趣结果的影响。但是，他们经常黑匣子 在逻辑上将干预与观察到的结果联系起来的步骤。 另一种与评估同样相关的因果理论侧重于因果关系就其性质而言，可归因于多种不同但合理的组合 的因素。根据这一理论，多种因果途径可以导致相同的结果，以及每个途径中起作用的因素组合。据此 因果关系的概念，大多数情况下，结果没有单一的原因;相反，一个组合因果关系因素的产生特定结果。此外，多个 因素的组合可能导致相同的结果，并且给定的结果可能会由于存在或不存在特定因素或一组因素， 取决于上下文（RihouxandRagin2009，8）。这个理论最好利用 4案例因果分析的严密性|第1章 回答评估中特别突出的因果问题，例如谁和什么情况下，特定干预有效或无效？ 以及除其他因素外，干预在产生部分方面发挥了什么作用结果如何？跨案例研究和评估方法最适合回答 这些类型的问题。 最后，受科学现实启发的生成或基于机制的因果理论- 主义（巴斯卡尔1975;格伦南1996;鲍森2013;施密特2020），试图确定干预因果过程（或因果链），由互锁的因果机甲组成 自变量（干预）和结果之间的分析。 利息。基于这些理论的方法中利益的关键因果问题是，为什么以及如何干预对感兴趣的结果产生影响？过程跟踪、现实主义评估、贡献分析、影响等方法通路分析和因果调解在回答方面具有比较优势 这种类型的因果问题（有关更多详细信息，请参阅海滩和佩德森2019;贝法尼 2012年,2021年;Raimondo和海滩,即将出版)。 在最后两种方法中，获得的因果推理的强度关键取决于被假定为基础的因果理论的特殊性干预以及对理论化因果包的明确和详细的描述-年龄和机制，解释为什么特定干预措施有助于 一个给定的结果（雷蒙多和海滩，即将出版）。对于这两种方法类型，由几个方框和箭头组成的典型因果理论不足以作为 支持强有力的因果推论。相反，明确布局底层 因果假设和机制是设计这种结构的基本组成部分。方法,作为下一节将展示。 如何从案例归纳证据 另一个继续阻碍采用基于案例的方法的神话涉及案例研究结果的普遍性问题。一个常见的论点 反对在评估中使用基于案例的方法，因为不能有效地产生 从单个案例中脱颖而出。然而，正如Flyvbjerg（2006，219）早期所论证的那样，这个论点 “如果不是直接错误，则过于简单化，以至于严重误导。伍尔科克 （2013年，2022年）和其他人认为案例研究在以下方面具有比较优势提供确定因果索赔的普遍性水平所需的关键事实 TY，特别是在复杂干预的情况下。案例研究有助于阐明（i）有助于解释干预措施是否有效的背景因素 实例也可以在另一个实例中工作;（二）有助于建立的过程机制干预措施的哪些部分有效或被证明是被破坏的;（三）成分 独立评估小组|世界银行集团5 特定干预措施发挥作用所必需的，包括资源、技能、能力，和法律;以及（iv）干预措施的变化轨迹，包括需要多长时间使变化具体化、进步或恶化。反过来，贝内特（2022）的答案案例研究是否概括在于它取决于因果关系的先验知识 机制、对病例群体的理解以及情境中的模式 启用或禁用因果机制的因素。这里的泛化依赖于因果解释的合理性和力量，而不是大数定律。 此外，可以有效地利用三个原则来确定是否找到- 基于案例的因果分析方法中得出的结论是可以推广的。这 首先，这些应该为方法的设计提供