关注差距：援助效果、项目评级和情境化（英）

授权公开披露 授权公开披露 政策研究工作文件10532 注意差距 援助有效性、项目评级和情境化 戴安娜·戈尔德姆伯格卢克·乔丹·托马斯·肯扬 独立评估小组2023年7月 政策研究工作文件10532 Abstract 本文将新技术应用于长期的援助有效性问题。它首先复制了一些发现，即捐助者的资金与受援国的部门成果有着明显的联系 ，但关系较弱。然后，它有力地表明，捐助者自己对项目成功的评价提供了关于这些项目对发展成果的贡献的有限信息。通过训练机器学习。 关于世界银行项目的模型，本文表明，这些项目对结果的贡献的最强预测指标是它们对国家环境的适应程度，而评级和实际影响之间的最大差异发生在体制薄弱的大型项目中 。 本文是独立评估小组的产物。这是世界银行为开放其研究并为世界各地的发展政策讨论做出贡献的更大努力的一部分。政策研究工作文件也在http://www上发布。世界银行。org/prwp.作者可以通过dgoldemberg1@worldba联系。org,lej@mit。ed和tey在@worldba上。 政策研究工作文件系列传播了正在进行的工作结果，以鼓励就发展问题交换意见。该系列的目标是快速得出发现，即使演示文稿还不够完善。论文带有作者的姓名，应相应地引用。本文表达的发现、解释和结论完全是作者的观点。它们不一定代表国际复兴开发银行/世界银行及其附属组织的观点，也不代表世界银行执行董事或它们所代表的政府的观点。 由研究支持团队制作 认识差距：援助有效性、项目评级和情境化 戴安娜·戈尔登伯格1，卢克·乔丹2，托马斯·肯扬1 关键字:援助有效性，机器学习，世界银行项目JEL代码：O12，O15， O19 ⋆本文表达的发现，解释和结论完全是作者的结论。它们不一定代表世界银行及其附属组织的观点，也不一定代表世界银行执行董事或政府的观点 代表。 ⋆作者要感谢莉莉·朱，圣伊法·吉姆伯特，杰德·弗里德曼，迈克尔·伍尔科克，莉莉·蔡，丹尼尔·霍尼格，贾斯汀·申克，乔斯·韦森，克里斯托弗·纳尔逊，斯蒂芬·弗朗西斯·皮罗齐以及研讨会参与者的宝贵贡献 麻省理工学院GOV/实验室研讨会和RMES结果同行学习系列。所有错误都是我们自己的。 电子邮件地址: (卢克·乔丹)，tkenyon@worldbank.org(托马斯·肯扬) 1世界银行集团 2MIT 1.Introduction 许多实证研究调查了外国援助是否有效改善受援国的发展成果。这些文献主要依赖于两个层次的分析。其中一个重点是援助对国家一级的总体影响，通常是对经济增长或部门成果的影响。另一种方法是微观层面的方法，以发展项目为分析单位，通常使用捐助者自己对项目成果的评级作为有效性的衡量标准。本研究通过关注捐助者资助的项目与可观察的发展影响之间的联系，将项目评级视为中介变量，从而将这两种研究联系起来。这使我们能够询问项目评级是否传达了有关这些结果的信息。我们使用1990年代以来八个捐助者在183个发展中国家开展的项目的评级，重点是一些服务提供部门，并提供了受益人一级成果的现成数据。我们成功地复制了以前的调查结果，即援助对部门成果的积极影响很小。然而，我们的结果表明。 项目评级传达的影响信息很少。 这项研究的第二个也是更重要的贡献是描述和分析项目对部门成果改善的贡献之间的相关性。我们专注于世界银行开展的项目，这些项目有更详细的信息和广泛的文本文档，我们使用最先进的方法来评估项目生产过程的哪些方面与更强的成果相关。我们首先使用最新一代的变压器模型创建项目文档的“文本嵌入” ，将文本转换为相似和差异的数字表示。然后，我们训练机器学习模型来预测项目的部门成果，并探索模型最关注的项目特征。我们发现，似乎高度适应国家背景和资金集中在较少部门的项目与更强的结果相关。在此过程中，我们使用有关项目特征的最新可用数据，并在因果推理和计量经济学与机器学习的交叉点上借鉴方法论上的进步。据我们所知，这是首次尝试量化项目背景化对发展有效性的重要性。 我们的发现对世界银行和其他发展机构评估项目绩效的系统具有可操作的意义，它提供了一个警示故事，防止过度依赖项目评级作为影响指标。它也对这些项目的设计和人员配备有影响。 3同一类模型，为所有最先进的翻译、搜索引擎、人工智能文本生成器以及大多数抄袭检测器提供动力。 2.文学与理论 2.1.发展成效 关于援助有效性的新兴文献集中在发展项目作为分析单位，一方面研究了项目特征与国家一级变量之间的联系，另一方面研究了项目成功之间的联系（摘要，请参见Ashto等人。2023年）。最常用的衡量项目成功的指标是捐赠者对项目成果的评级，这篇文献认为这是一个嘈杂但有效的衡量项目绩效的指标（Deizer，Kafma和Kraay2013）。项目成功的解释因素集中在：（i）国家特征，例如机构质量，政治和经济稳定性以及政权类型；（ii）项目特征，如持续时间、规模、部门和贷款工具；(iii)项目设计的方面，如成果框架的清晰度和组成部分的数量；(iv)项目监督的方面，如监督的强度、时间和连续性。 这些文献的效用在两个方面是有限的：第一，我们知道没有一个研究能够成功地解释超过30%的项目成果评级的差异；第二，首先有理由质疑这些评级的含义。个人捐助者资助的项目通常只预测和评价当地的影响，很少声称与经济增长或国家一级的成果有联系。然而，援助项目的地方和国家影响是根据定义联系在一起的；外国援助对部门成果的总影响必须与单个项目的累积影响联系起来 。然而，关于这些评级是否确实与外部融资对发展的贡献相关，这是一个几乎完全被忽视的经验问题。我们通过调查项目评级是否传达了有关可观察到的发展影 响的信息来解决这一差距。 相关文献集中在援助对国家一级的总体影响上。一些研究试图估计捐助者筹资与教育，能源，卫生，卫生和水方面的部门成果之间的关系。他们采用类似的策略：面板数据估计技术控制国家特定的影响和回归变量的潜在内生性，部门结果作为因变量，援助流量作为中央外推变量。Mishra和Newhose(2009)衡量了与人均卫生援助增加相关的婴儿死亡率的下降。Birch-ler和Michaelowa(2016)研究了人均教育援助对小学净入学率的影响。Ndimaa和Picbor（2017）调查了对水和卫生部门的外国援助是否有助于扩大撒哈拉以南非洲地区获得水和卫生服务的机会。这些研究没有衡量或估计超出数量的更广泛文献中确定的发展筹资各种特征的相关性；它们也没有反映非贷款援助，如分析工作对发展成果的贡献。尽管如此，它们确实为我们的分析提供了一个出发点，我们复制了援助对部门成果的微小但积极影响的结果。 2.2.项目的作用 项目是发展援助的重要工具，是个别干预措施与部门成果之间的干预和决定性结构。4它们的作用不仅包括筹资，而且还包括干预措施的适应当地情况，实施、评价和在政策周期中的推广。在这样做的过程中，他们弥补了计划中的“实施差距”，或者是在其他地方可能起作用的基础上设想的，以及已经实现的目标 。项目特征的变化也会破坏随机对照试验推论的产生，并限制它们在不同地点外推的程度。 期望项目应累积与部门成果相关联并非不合理。至少自2000年代初以来，援助机构越来越多地将项目融资与技术援助相结合，加强政府系统，并声称要提高政府支出计划的质量，而不是自己的融资。它们的影响不仅应该对项目资助的干预措施的管理，而且应该通过机构溢出效应对政府活动的其他领域进行检测。 对发展项目有效性的定性分析已将与国家情况的契合度作为成功的关键决定因素。部分原因是，要取得成功，任何政策不仅必须在技术上是正确的，而且必须在政治上是可支持的和行政上可行的（摩尔1995年）；部分原因是技术正确性本身需要判断当地情况与决定其他地方干预结果的因素之间的相似性。就世界银行项目中发生的这种情境化舞蹈而言，主要是在项目准备期间。但是，由于缺乏可测量性，在有关项目成果的定量文献中，它在很大程度上被完全忽略了。先前分析的范围反而受到项目设计和监督方面公开披露数据的现成可用性的 限制。Theseareforthemostparteitherolyweallylieditheorytoprojectef-fectiveessorolyroghexisticalproxiesfortheoretical-relevatvariables.因此，例如，虽然一些研究试图评估经济分析或明确的结果框架对项目有效性的贡献，但大多数研究将自己限制在容易观察到的特征，如规模、规模、部门和资金来源，往往发现不一致。就他们审查捐助机构工作人员的作用而言，这仅限于项目经理，很少关注该过程的其他参与者。同样，研究人员依赖国家一级的机构质量衡量标准 ，尽管他们熟悉并有能力实施。 4有关项目的作用及其在更广泛的概念框架中的位置的更全面描述，请参阅Ashton等人（ 2023）的第1节。 5有关实施差距的更多信息，请参阅Williams（2019），有关循证医学中类似问题的讨论，请参阅Ford和Norrie（2016）。 捐助者资助的项目在各国之间差异很大。 我们希望项目在以下情况下会更有效：（i）对干预在其他地方发挥作用的条件进行事先分析，并意识到干预与要移植的环境之间的任何实质性差异；（ii）确定任何必要的适应措施，并抵制外部压力，以进行过度快速或无思想的复制；（iii）提供实施项目所需的财务和人力资源（Hoig2018）。他们这样做的可能性取决于一个过程，不仅涉及项目经理，还涉及捐助方的领导层和其他团队成员，以及一个项目执行单位，通常由政府方面的公务员组成。所有投资项目也或多或少地取决于政府采购和财务管理系统的有效性。官僚质量的标准指标通常很难捕捉到这些投入(Blm2014)。 2.3.项目评估过程 经济合作与发展组织(经合组织发援会)的发展援助委员会长期以来一直牵头制定一项关于评价做法的议程,鼓励对援助的有效性和结果(而不是只对投入和活动)进行分析,并在1991年发表了第一套评价发展援助的原则。如今，大多数双边和多边捐助者都有一个既定的评估其发展有效性的程序，与经合组织-发援会的规范框架保持一致，该框架包括六个评估标准-相关性，一致性，有效性，效率，影响和可持续性。 在世界银行，项目评估由独立评估小组（IEG）监督。IEG对项目绩效的几个方面进行了评级，但重点指标是“结果”评级，该评级评估项目是否实现了既定目标 。评级是两个阶段过程的高潮：首先是项目管理自己的自我评估-实施完成和结果报告（ICR）-随后是ICR审查（ICRR），在大约20％的案例中，两年后由IEG进行了更详细的报告，即项目绩效评估报告（PPAR）。这些结果一起得出6分的结果评级，从非常不满意到非常满意。 我们数据库中的其他七个捐助者-亚洲开发银行（ADB），全球抗击艾滋病，结核病和疟疾基金（GFATM），德国国际合作协会（GiZ），国际农业发展基金（IFAD），日本国际合作 6它们共同描述了干预措施的期望属性：所有干预措施都应与国家背景相关，与其他干预措施保持一致，实现其目标，以有效的方式交付结果，并产生持久的积极影响。 机构（JICA），德国开发银行（KfW）和英国国际发展部（DFID）-类似地将其自我评估汇总为单一的“结果”评级。正是由于它们的广泛可用性和易于协调 ，在援助有效性文献中普遍使用此类项目成果评级。 但是，有几个理由怀疑这些成果评估是否体现了捐助者的贡献或发展成果持续改善的可能性。首先，它们是几个子评级的集合，因此掩盖了个体成分或干预措施的贡献差异。第二，通过主要评估项目是否已实现其既定目标，他们可能会鼓励项目设计者将其雄心限制在可以轻松实现的目标上，有时甚至已经实现。7第三，他们可以将时间范围重新调整为短期产出，在项目生命周期内更容易衡量 ，以解决核心问题的长期努力（Adrews2021）。 3.Methods 3.1.研究问题 我们寻求通过考虑四个问题来推进现有文献。首先，可以对发展援助对部门成果的影响做出任何一般性陈述吗？