指南目标与适用范围
本指南旨在为制定和实施积极劳动力市场政策(ALMPs)的影响评估提供实用指导,重点关注脆弱环境中的评估挑战。指南面向制定和实施ALMPs的关键参与者,如政府部门、公共就业服务机构以及资助或实施相关项目的国际组织。指南并非提供深入的技术指导,而是帮助委托评估者具备足够的知识,以便采购和评估研究质量。
脆弱环境中评估ALMPs的挑战
脆弱环境中的ALMPs评估面临着诸多挑战,包括:
- 环境波动、敏感性和偏见:评估需要适应性和对当地环境的敏感性,并考虑利益相关者的潜在敏感度,遵守“不造成伤害”原则。
- 评估实施中的局限性:招聘评估人员、确保人员安全、获取特定社区和目标群体、以及方法学挑战(如选择偏差、随机化伦理问题、样本量不足)等。
- 时间和资源有限:设计和实施评估的时间、资金和人力有限,可能导致评估范围和质量受限。
- 脆弱的机构和有限的证据文化:公共行政和公民机构能力有限,影响数据获取、评估设计和结果利用。
- 项目实施挑战:项目实施中的低注册率、高辍学率、难以接触弱势群体等问题,导致自我选择偏差,需要高级统计方法来缓解。
影响评估方法
- 基于理论的影响评估(TBIE):通过逻辑模型展示干预措施如何产生结果,帮助理解干预机制和影响。
- 反事实影响评估(CIE):通过比较参与项目和未参与项目的群体,评估干预措施的影响。
- 随机对照试验(RCT):将参与者随机分配到治疗组和对照组,是CIE的“黄金标准”,但需要大样本量和资源。
- 准实验设计:在RCT不可行时,使用统计技术构建控制组,包括前后比较、双重差分法、倾向得分匹配和回归断点设计等。
评估计划
- 评估计划作为政策周期整合工具:评估计划应概述评估目的、方法、时间表、预算等,确保评估与组织目标一致。
- 定义评估范围和目标:明确项目目标和评估目标,建立理论模型,确定关键研究问题。
- 选择评估方法和工具:根据研究问题和因果关系分析,选择定量或定性研究方法,或两者结合。在脆弱环境中,需要考虑数据收集的可行性和当地敏感性。
- 设定时间表和预算:评估应尽早纳入项目规划,确保足够的时间来实施干预措施和观察结果。预算应考虑人员、数据收集、成果制作、传播和能力建设等成本。
评估实施
- 委托评估和管理外部评估者:委托外部评估者可以确保评估的独立性和专业性,但需要谨慎选择团队,并明确责任和期望。
- 实地工作:评估人员应具备相关领域的知识和技能,并接受培训以应对脆弱环境中的挑战。数据收集应尊重当地敏感性,并采取措施保护数据隐私。
- 质量保证:建立全面的质量保证机制,包括清单、标准化、明确职责、利益相关者参与、同行评审和学习循环。
评估结果的使用
- 评估结果的使用形式:包括工具性使用(直接应用于政策调整)、概念性使用(积累知识和理解干预机制)、过程性使用(从评估过程中获得收益)和象征性使用(证明政治或管理合法性)。
- 评估结果的有效利用:需要明确评估用户,制定传播计划,并将评估结果纳入组织的学习实践。
加强机构能力
- 监测和评估系统(M&E):建立或加强M&E系统,确保可靠地收集、分析和利用政策数据。
- 评估和监测系统评估:使用评估工具(如MESA)评估M&E系统的能力,识别差距和改进领域。
- 加强M&E系统:采取分阶段、适应性和包容性的方法,优先考虑组织能力发展,使用混合方法和创新数据来源,将M&E纳入国家系统和战略。
总结
本指南强调了在脆弱环境中评估ALMPs的重要性,并提供了实用的指导,帮助评估人员克服挑战,确保评估结果的质量和可用性。指南强调了理论评估、反事实评估、评估计划、评估实施、评估结果的使用以及加强机构能力等方面的关键要素,为在脆弱环境中有效评估ALMPs提供了参考。