国家研发项目绩效信息的使用 ： 实践和未来方向

Summary 国家研发项目绩效信息的使用：实践和未来方向 项目负责人：NariYoo Participants:GicheolJeong･IejungChoi･韩成辉･HyunkeunBae･苏永安･YongheeCho 本研究以关键观点开始，即对国家研发项目的表现测量并未导致项目的改进 。绩效管理系统的主要职责在于收集、分析和报告表现，并将报告的数据融入管理决策中。本研究分析了如何以及到何种程度利用表现信息，以此来识别需要促进使用表现信息的领域，诊断刺激过程中需要解决的问题，并提出建立绩效管理系统政策时应考虑的含义。 首先，本研究将“国家研发项目的表现信息”定义为一个概念，涵盖研究结果、研究结果的信息、评价结果、评价结果的基础、评价过程（规划-管理-评价-反馈）的信息、活动以及通过评价过程收集的研发项目特征。本研究旨在通过超越如研发成果和评价结果等狭义概念，扩大表现信息及其应用的范围。 通过将绩效信息的使用划分为特定类型，本研究探讨了不同类型的绩效信息是如何被使用的以及对不同类型进行推广的需求。鉴于绩效信息的类型和目的存在差异，分析不同类型的绩效信息使用情况使我们能够针对性地识别需要支持的领域，并提出更为有效的启示。 分析框架(性能信息使用类型)显示在 下表所示。绩效信息的用户仅限于公共管理者。根据绩效信息的应用性质（工具性/非工具性）以及目标受众（组织内/组织外），绩效信息的使用分为四种类型。「改进」是指在组织内部的目标受众中使用工具性地利用绩效信息 ；「理解」则是非工具性地使用。「责任」是指在组织外部的目标受众中，通过工具性地利用绩效信息来实现；「动员」则是非工具性地使用绩效信息 。 <表1>关于国家研发项目的四种绩效信息使用类型 Purpose Accountability 理解 Improvement 动员 Process 符合性 Identification,Learning 决策, 修订版 决策, 倡导 活动 报告,出版物 审阅结果,创造想法,目标分享, 动机,累积知识 评价体系 改进性能评价操作, 改进项目管理, Allocatinging资源, 改进组织性 管理 说服,理由, 炫耀,找借口 为了探讨每种类型性能信息的使用程度，本研究首先构建了实证数据和调查数据，然后进行分析。 首先，在分析框架中呈现的四种类型中，“工具性”利用通过运营状态和中期评估系统生成的报告数据进行分析。通过研发项目的中期评估收集并利用性能信息，以实现责任追究，中期评估包括自我评估环节。 并且包含了充分性检查（元评估）。从2013年到2021年的816个项目（平均每年91个）接受了中期评估（自我评估）。在被评价为“充分”的项目中，执行项目的部门提交自我评估报告的比例，在2013年至2021年间平均为15.2% 。 此外，本研究追踪了评论、建议和改进措施，这些内容被应用到了自我评估报告中过去评估结果部分，并探讨了如何利用绩效信息进行改进。该研究从2018年至2021年总共分析了346份自我评估报告，检查了指出或需要改进的过去绩效评估项目（1035个案例）的性质。这些项目包括“项目管理”（64%） 、“绩效评估操作”（32%）、“资源分配”（3%，包括预算）和其他杂项项目 （1%）。在检查过去评估结果是否反映在当前项目中，并分析所使用绩效信息的类型后，发现“项目管理”的应用率为92.6%，“绩效评估操作”为90.4%，而“资源分配”为83.9%。 第二，本研究进行了一项事实调查问卷，旨在探讨“非工具性”使用绩效信息的当前状况。中期评估系统和报告分析在理解这一领域存在局限性。研究管理机构的项目管理人员参与了此次研究，主要关注了解、改进和动员使用的程度及其必要性，而用于问责的部分则通过制度化的中期评估得以实施。 在四象限（由当前使用和必要使用的两个轴组成）中，每种目的共分类了17项活动。结果如下：首先，一种高使用频率和高刺激需求的类型（例如，评价指标改进、项目绩效推动）；其次，一种低使用频率但高需求类型的（例如，创造提升项目绩效的想法）；第三，一种低使用频率且低必要性的类型 （例如，预算分配、组织管理）；最后，一种高使用频率但低需求类型的（例如，项目成果的合理性证明）。 此外，当绩效评估过程和结果的可靠性高时，对项目评估结果的响应程度以及利用绩效信息以提高理解和改进活动的程度似乎也较高。然而，确认的主要回应动机在于避免处于不利地位。 本研究的含义在于综合分析结果，提出三个维度下的六种方法，分别是：机构与政策在绩效管理、绩效评估和管理系统方面的应用，以及对绩效衡量做出响应的组织策略。 首先，尽管通过相关法律法规确立了使用绩效信息进行预算分配和组织管理的做法，但在这两个领域中，绩效信息的使用程度和必要性均为最低，有必要寻求提高意识或通过政策支持的方式加以改进。特别地，加强绩效评估与预算之间的联系，正是近期宣布的财政部战略与财务部公共财政项目绩效管理的基本方向。然而，由于项目负责人和前线组织的绩效管理并不认同绩效评估的必要性和使用方式，因此需要通过公关和教育等手段来缩小认知差距 。 其次，寻求机构支持以考虑年度绩效评估响应所需的人力、时间和预算至关重要。超过13%的研发项目管理者每年同时负责项目管理和中期评估响应，这使得充分应对绩效评估并产出高质量的绩效评估变得困难。因此，从政策角度提供额外的人力或时间是必要的。然而，由于各机构对人力和预算支持的看法不同，设计基于机构状况及其原因的支援计划至关重要。此外，根据评估的目的调整评估目标或等级的计划也可以考虑。 第三，本研究识别出了“项目理解的提升”和“项目表现创意的生成”这两个领域 ，在应用层面与对绩效信息的需求相比，其水平略显不足。为了增加 在绩效管理过程中，提升对项目与表现理解、优化性能是必要的。活动如深化项目理解、寻找提升性能的思路之所以未在流程中开展，主要原因是缺乏人力和时间应对评估，以及在流程中很少有执行此类活动的机会。为了使绩效评估积极地引导项目改进，需要提供更多机会来基于对项目的理解考虑实际影响和替代方案，而不仅仅是反映和调整评估结果。因此，需要制定一个实施这一理解过程的计划，以融入绩效管理系统中。 第四，为了提升评估系统的可靠性，通过沟通使评估者与被评估者之间的信息和认知相匹配，这是必要的。中期评估中，自我评估和元评估（充分性检查）的评估结果（分数和等级）之间存在显著差异；充分性检查的通过率从2013年到2021年为15.2%。这种差异主要归因于自我评估（在研发项目部门进行）的评估者与元评估的评估者对信息和认知的不同理解。通过评估者之间的沟通减少这些差异，可以增进相互信任。此外，当评估者的专业知识或经验可靠性较高时，对绩效评估的响应程度也较高。因此，积极的评估者与被评估者之间的沟通预计会对实际利用绩效信息产生正面影响。第五，对中期评估报告和事实调查问卷的分析应当进行。 表明过去评估中提供的知识和信息被积极地用于项目或绩效管理，但并未用于预算分配或组织管理。此外，项目经理认为使用绩效评估进行预算和组织管理要么是不可能的，要么在长期有可能实现。这种现实与认知形成的原因在于负责项目和绩效管理的人与负责预算和组织管理的人不同，因此在当前的结构和流程下，整合这些方面存在一定的挑战。 流程不一致。绩效评估信息的创建由项目经理和评估者监督，相关主体在项目管理和评估过程中可以利用这些绩效评估信息。然而，预算或组织改进超出了相关主体的权限范围。因此，有必要考虑让组织中的其他利益相关者参与绩效评估过程，或者传播和共享结果的方法。 六、有必要制定激励措施以促进绩效信息的利用，因为项目管理人员对绩效评估做出响应的主要动机被识别为担心处于不利地位。根据中期自我评估指南，对于评价结果优秀的项目参与者，提供了政府奖励等激励措施。此外，根据评估分数和等级指导激励措施，在评估结果被评为“优秀”或更高的情况下增加预算，而在评分低于“需要改进”的情况下减少预算。然而，实地调研显示 ，对预算增加或激励的期望非常微弱。当前的研发绩效管理系统基于对惩罚的恐惧而非激励。为了激发对绩效信息使用的兴趣，至关重要的是在政策和制度层面考虑引入如人员福利等激励措施于研发项目绩效管理中。 本研究的一个局限性在于，难以确定执行项目的部门是否在其自我评估报告中包含了所有过去的评估结果。此外，该研究未对这些报告是否导致项目管理和表现方面显著改善进行评估。本研究侧重于通过分析当前绩效评估使用状况来识别和诊断问题，并推导出含义。因此，本研究主要探讨了在绩效管理系统和组织层面的政策方向，而非提出具体且有效的政策替代方案。未来的研究应通过更深入的研究，提出更为具体和有效的政策替代方案。