全球治理中的绩效评估

专题序言 如何评估国际组织的绩效直接关系到全球治理的权威和效能。本期学科动态以全球治理中的绩效评估为主题，探讨了评估国际组织绩效的文本分析方法,探讨了评估体系的制度设计如何影响绩效评估的客观性,展示了不同国家在推动改革过程中如何利用绩效评估结果。本期学科动态旨在通过多篇近期文献阐释绩效评估的意义，检视现有评估方法的优劣，为构建更科学的国际组织绩效评估体系提供借鉴。绩效评估体系的完善不仅有助于提高国际组织的运行效率，也将推动全球治理体系朝着更加公正合理有效的方向发展。 本期目录 1.SteffenEckhard,etal.,“ThePerformanceofInternationalOrganizations:ANewMeasureandDatasetBasedonComputationalTextAnalysisofEvaluationReports,”TheReviewofInternationalOrganizations,forthcoming. 2.SteffenEckhard,VytautasJankauskas,andElenaLeuschner,“InstitutionalDesignandBiasesinEvaluationReportsbyInternationalOrganizations,”PublicAdministrationReview,forthcoming. 3.AllisonCarnegieandRichardClark,“ReformingGlobalGovernance:Power,Alliance,andInstitutionalPerformance,”WorldPolitics,Vol.75,No.3,2023. 4.DanHonig,RanjitLall,andBradleyC.Parks,“WhenDoesTransparencyImproveInstitutionalPerformance?Evidencefrom20,000Projectsin183Countries,”AmericanJournalofPoliticalScience,forthcoming. 5.ThomasSommereretal.,“Decision-makinginInternationalOrganizations:InstitutionalDesignandPerformance,”TheReviewofInternationalOrganizations,Vol.17,No.4,2022. 6.MirkoHeinzel,“InternationalBureaucratsandOrganizationalPerformance.Country-SpecificKnowledgeandSectoralKnowledgeinWorldBankProjects,”InternationalStudiesQuarterly,Vol.66,No.2,2022. 本期审校 陈兆源、杨嘉豪 No.1 SteffenEckhard,etal TheReviewofInternationalOrganizations Forthcoming “Theperformanceofinternationalorganizations:anewmeasureanddatasetbasedoncomputationaltextanalysisofevaluationreports” 《国际组织绩效：一个基于评估报告本文分析的新测量与新数据集》 联合国体系下的国际组织每年会发布大约750篇评估报告以分析各个组织的项目、方案、机构和活动的表现。本文利用深度学习，提出了一种全新基于文本的绩效评价指标。在提出指标的基础上，作者建立了一个新的数据集，数据集包括系统下9个国际组织实施的1082项评估活动的绩效指标。 评价公共组织绩效最简单的方法就是考察其完成预定目标的能力。既有研究大多根据一系列关键指标来衡量组织绩效，但由于并非所有组织的目标实现都可以在指标层面得到反映。因此有学者已经开始对更广泛的数据来源进行分析，研究机构设计、人员配置和管理流程以及理事机构决议的相应指标。在开发性金融和发展援助领域，对绩效和有效性的评价指标已经有了大量进展，但在公共卫生，人道主义援助和社会政策等领域，仍然难以形成一致性的评价体系。 对国际组织的评估可以从组织外部展开，考察项目资助的审查机制、资金来源等问题，但考虑到既有国际组织的资助者大多是西方国家，外部资助本身存在“偏好性”，且资金相关报告往往难以获取，因此作者从联合国评估小组（UNEvaluationGroup）的评价报告入手，对包括劳工组织、开发计划署、粮农组织在内的9个组织的数据进行了抓取和整理，建立了IOEval数据集，包括报告级别 的各个变量。 为实现对项目的绩效考核，作者主张对报告的本文进行分析，报告文本包含的语句越积极（消极），既评估整体越积极（消极）。在具体操作上，作者使用基于深度学习的BERT语言模型，将每个句子分别被标记为积极、负面和描述性评价，进行深度学习，取三个标签的最大概率值。随后作者对数据进行了验证。内容验证结果表明，语言模型以非常高的准确性对语句内容进行了分类；聚合分析基于外部绩效进行比较，作者模型结果和IEG（世界银行独立评估小组）的评级数据相比较，将2012-2021年的世行报告编成数据集，输入语言模型并进行分布分析，统计结果显示二者可以相互匹配。 作者还对数据集进行了构建效用验证（ConstructValidation）。构建效用主要是利用IOEval数据集中的评估条目进行理论假设的验证。作者在本部分对“项目目标的可实现性越强，项目绩效越高”进行了验证。项目良好的预期表现可以帮助项目获得更多的资金和支持，进而在下一阶段的目标中更容易成功，换言之每个更早阶段的成功，将帮助国际组织在下一阶段取得成功。通过固定效应分析，作者发现，国际组织项目的计划和结果存在差异，有更多可实现短期目标的项目，往往可以实现成功。 本文结合了三种验证策略检查了作者提出的国际组织活动绩效标准的有效性，开发了一种基于文本的绩效评估方法，同时开源的语言模型为数据集的扩展提供了可能性。新的数据集和模型增强了研究国际组织绩效的能力和路径，帮助将国际组织绩效从发展援助拓展到其他领域；新数据库还可以帮助研究国际组织绩效造成的影响与后果，同时帮助政策制定者评估各个组织之间的绩效差异。 编译：孟思宇（中国社会科学院大学） No.2 SteffenEckhard,VytautasJankauskas,andElenaLeuschner PublicAdministrationReview Forthcoming “InstitutionalDesignandBiasesinEvaluationReportsbyInternationalOrganizations” 《制度设计与国际组织评估报告中的偏见》 近几十年，评估（evaluation）成为衡量国际组织业绩和影响的重要工具。各国政府有时花费数亿美元来评估组织绩效，但评估是否可能存在偏差？提交给决策者的冗长而又精心制作的评估报告，是否真的能为政治决策提供客观且有效的信息？本文对2012年至2020年间联合国系统中九个国际组织发表的1082份评估报告的分析显示，国际组织中评估体系的制度设计会导致评估结果存在差异，即存在偏见。总体而言，与中央评估单位（centralevaluationunits）相比，由业务单位（operativeunits）进行的评估更加正面。 评估有很多积极作用，比如将评估结果用于促进政策学习，确保问责制，追踪政策变化的路径等等。针对评估通常有两种观点，一是功能性观点（functionalperspective），该观点认为评估是一种独立、无价值、基于研究的评价，有助于公共行政管理中的学习和循证政策；二是政治性观点（politicalperspective），该观点强调评估本身就是一项影响组织中资源和权力分配的政治活动。本文则聚焦现有文献忽视的评估过程，认为评估的进行依赖其发生时的组织环境，即组织设计 在多大程度上使被评估单位能够影响评估过程，决定了评估结果是否存在偏差。 作者从两个维度来评估制度设计，一是政治主体（比如成员国理事会）对评估系统的控制程度；二是委托单位在国际组织的层次结构中的位置。据此本文提出三个假设： H1：国际组织行政部门控制下产生正面评估的比例比成员国控制下产生正面评估的比例更高； H2：由分散的业务单位委托的评估比由中央单位委托的评估产生正面评估的比例更高； H3：由国际组织行政部门控制且由分散的业务单位委托的评估，产生正面评估的比例最高。 实证分析中，本文利用基于深度学习的语言模型，通过计算每份报告（主要是摘要）中积极评价的句子所占的比例来衡量评估报告的结果是否积极，并以其为因变量。为衡量评估系统制度设计的差异设置了两个自变量：一是成员国或国际组织的行政部门谁控制着评估系统的资源，比如任命评估单位负责人、决定评 估预算和评估议程；二是中央单位和业务单位谁委托评估。 本文的主要贡献在于，在既有研究常使用的访谈和调查数据之外，首次基于文本且跨多个国际组织对评估进行研究，充实了对评估及其潜在偏差的比较实证研究。同时，本文回应了功能性观点与政治性观点之间的的争论，强调评估者和被评估者之间的制度距离越小，评估结果会越正面，这解释了为什么有时评估在某个国际组织中具有功能性，而在另一个国际组织中则具有政治性。 编译：张尊月（中国社会科学院大学） No.3 AllisonCarnegieandRichardClark WorldPolitics Vol.75,No.3,2023. “ReformingGlobalGovernance:Power,Alliance,andInstitutionalPerformances” 《改革全球治理：权力、联盟与制度绩效》 长期以来，学术界一直试图研究全球治理变革的关键性因素。此类研究大多关注于系统性的政治和经济冲击带来的政治经济后果。在这些系统性冲击之外，国际组织同样会进行一些较为细微的改革以补偿部分成员国。尽管改革的措施微不足道，但其带来的政策后果可能是难以估计的，甚至导致根本性的结构与权力转变。本文研究了国际组织内部的主要结构变化，同时研究了这些组织在日常运作中发生的微小变动。作者试图解释：什么因素导致了国际组织成员在日常工作中进行改革？哪些成员在改革过程中收益最大？ 作者认为，国际组织的表现以及成员和组织主要利益相关者的政治关系是改革发生的主要障碍。在日常运行期间，大国的支持将有助于其盟国推动国际组织改革，改革成功将有助于完成对盟国的奖惩。此外，国家也可以激励国际组织官僚以进行改革。原因有二，一是国际组织官僚希望实现自治以保留自主权，二是官僚往往是由大国推选出来的，其本身就具有意识形态偏见。因此可以预计国际组织官员倾向于支持大国盟友的改革目标，以寻求大国对机构的支持。此外，当大国对国际组织的表现不满时，组织官僚会试图安抚这些国家以防止其脱离国际组织，通过采取较小的让步说服其维持资助或是留在组织内。基于以上观点，作 者提出了理论假设： H1:在组织常规运行期间，国际组织的改革会使最强大成员国的盟友获益； H2:当最大成员国的非盟国因国际组织表现不佳而威胁脱离时，国际组织会进行改革以进行补偿。 此后作者通过检验世界银行的案例，对理论假设进行了检验。世界银行内的改革往往以微小和渐进为主要特点，同时世界银行是具有代表性的国际组织，可以有效对理论进行验证。作者主要考察的是国际复兴开发银行（IBRD）的变革过程，世行的主要工作是向中等收入国家提供发展援助资金，其依赖于每三年的成员国注资。美国是世行最大出资国，同时中国等借款国同样对其构成竞争。美国利用其主导权在世行内推动其特殊议程，例如借款国检测和评估