美国能源部的跟踪和评估研究、开发和示范项目（英）

跟踪和评估美国能源部的研究，开发和示范计划 LucieBioret,YuqiZhu,AlanKrupnick,AaronBergman 报告23-172023年11月 关于作者 LucieBioret是未来资源(RFF)的研究分析师，致力于工业脱碳。Lcie对开发低碳解决方案的创新政策以及政府支持对减排工作的影响特别感兴趣。Lcie在法国布列塔尼出生并长大，最近毕业于AgroParisTech和Paris-Saclay大学，获得环境经济学硕士学位。在RFF之前，露西是经合组织的研究实习生。 科学创新与技术局，她参与了绿色初创企业绩效的研究。此前，她还是德国经济研究所的气候政策实习生，在那里她专注于气候融资对新兴经济体的影响。 朱玉琪在获得哈佛大学肯尼迪学院公共政策硕士学位后，于2022年加入RFF，担任高级研究助理。 他在丹佛的一家媒体和通信控股公司LibertyMedia从事公司开发工作。 AlanKrupnick他是RFF的高级研究员，也是石油和天然气行业的专家，该行业和工业部门减少温室气体排放，以及成本效益分析。特别是，Krpic最近的研究重点是绿色公共采购，脱碳氢和税收抵免以及开发绿色天然气市场。他的投资组合还包括指导我们与NASA的VALUABLES计划所涵盖的信息议程的价值，降低哮喘风险的评估，估计统计寿命的价值以及监管改革的问题。 亚伦·伯格曼是一个在RFF的人。在加入RFF之前，他是能源信息管理局（EIA）宏观经济和排放的负责人，负责这些领域的EIA建模。在EIA工作之前，伯格曼在能源部的政策办公室工作了十多年，致力于一系列广泛的气候和环境政策。伯格曼曾在白宫科技政策 办公室工作，管理《四年能源评论》。 并处理甲烷测量组合，并在环境质量委员会从事碳监管工作。伯格曼在高能物理工作后，于 2009年进入联邦政府，担任美国科学促进协会的科学技术政策研究员。 Acknowledgements 我们要感谢在2023年5月举办的研讨会上提供专业知识并为有见地的讨论做出贡献的演讲者，该研讨会题为“DOERD＆D计划的跟踪和评估研讨会”。我们感谢所有研讨会参与者及其宝贵意见。与Sam的对话 美国能源部能源效率和可再生能源办公室的Baldwin和JoeCresko也为我们的工作提供了信息。这项研究的资金由突破性能源提供。本报告中的观点和观点完全是作者的观点和观点 。 关于RFF 未来资源(RFF)是华盛顿特区一家独立的非营利性研究机构。其使命是通过公正的经济研究和政策参与来改善环境、能源和自然资源决策。 这里表达的观点是作者个人的观点，可能与其他RFF专家、官员或董事的观点不同。 分享我们的工作 我们的工作可在归因-非商业-NoDerivatives4.0国际（CCBY-NC-ND4.0）许可证下进行共享和改编。您可以以任何媒介或格式复制和重新分发我们的材料；您必须给予适当的信用，提供许可证的链接，并指出是否进行了更改，并且您可能不会应用其他限制。您可以以任何合理的方式这样做，但不得以任何方式暗示许可方认可您或您的使用。 您不得将材料用于商业目的。如果在材料上重新混合、变换或构建，则不得分发修改后的材料 。有关更多信息，请访问https://creativecommons.org/licenses/by-nc-nd/4.0/. Contents 1. 2. 3. 3.1. 3.2. 3.2.1.EERE评估数据平台4 3.2.2.跟踪商业技术5 3.2.3.跟踪专利数据6 3.3.HHS6 3.4.EPA8 3.5. 4. 4.1. 4.2. 4.3. 5. 5.1. 5.2. 6. 1.Introduction 随着《基础设施投资和就业法案》（IIJA）和《降低通胀法案》（IRA）的实施，美国能源部（DOE）将在推动实现拜登政府净温室气体零排放目标所需的技术创新方面发挥核心作用。然而，它需要在几个领域增加能力，包括如何最好地为它将资助的示范项目挑选赢家 。我们就这一主题举办了一次研讨会，并编写了一份后续白皮书(Bergma等人。2023年） 。另一个领域是本文的主题，正在建立将影响评估付诸实施和制度化的能力，其中包括制定跟踪数据的方法，以支持证据建设和帮助评估。 DOE的研究，开发和示范（RD＆D）计划。加强评估能力很重要，原因有两个：它允许DOE和其他有关方面评估计划在推进和最终， 将技术商业化；它为适应学习机构提供投入，以改善对申请人的指导（在资助机会公告 [FOA]中），决策协议和数据收集。 这两项关键的立法并不是在DOE内部开发更好的计划评估的唯一动机。《20181证据法》旨在使联邦政府数据收集和管理流程现代化，以更好地为政策决策提供信息。它要求各机构评估其评估做法，并制定一项制定证据建设活动的计划。管理和预算办公室（OMB）负责通过向各机构提供指导和资源并与评估官员接触来改善这些活动和评估；在DOE，每个办公室都负责这两项职能（DOE2022），计划经理负责在遵循计划评估标准（OMB2020）的同时进行评估。 这篇论文建立在一个研讨会holdbyResourcesfortheFuture(RFF),informedbygovernmentpublicationsandtheacademicliterature,onevaluationandprovidesrecommendationsfor buildingevaluationsystemsforDOEprograms.Evaluationsystemscoverythealloperational,organizational,andinstitutionthat 包括人力资源、组织能力和评估实践。该报告涵盖三个主题:美国能源部和其他相关机构的计划评估状况、美国能源部内计划评估的制度化、稳健评估方法的特征及其相关指标和数据需求。它以一系列建议结束。 1美国国会，《2018年循证决策基础法案》，HR4174，PulL115-435，第115届国会，于2019年1月签署成为法律。 2.评价的定义 《证据法》将评估称为“使用系统数据收集和分析旨在评估其有效性和效率的一个或多个计划，政策和组织的评估”（OMB2020）。DOE的能源效率和可再生能源办公室（EERE ）使用类似的措辞来定义计划评估（EERE。D.a)，2主要作用是产生知识以改进计划。.影响评价，这是研讨会的主要重点，用于确定特定程序对一系列结果的因果影响。它们通常涉及随机对照试验或准实验方法，通过与没有程序的反事实情况进行比较来估计程序影响。过程评估，另一方面，看一个程序的进展 并监控其实施，目的是改进流程(EEREn.d.a)。DOE也分析研究资助技术的特征以及它 们如何融入能源系统和市场（EEREn.d.b），目的是为技术投资提供知识。 3.评价景观 所有机构都在不同程度上进行计划跟踪和评估，部分基于立法指令，例如《证据法》，特定计划，例如小型企业创新与研究（SBIR）计划，行政部门的努力以及机构对成功和问责制的承诺。本节讨论了评估前景，包括最近的努力，例如《证据法》和DOE的政策回应 ，特别是其能源效率和可再生能源办公室（EERE）。我们还讨论了对等机构的工作，例如卫生与人类服务部（HHS）和环境保护局（EPA），这两个机构都有进行评估的悠久历史。最后，我们从这些对等机构中汲取经验教训，并考虑DOE如何使评估文化制度化。 2“使用定量和/或定性数据和分析方法进行系统评估，以回答有关当前或过去计划的特定问题，旨在评估其有效性和效率。” 32000年《小企业再授权法》，HR5667。Pub。L.106-554，第106届国会， https://www.congress.gov/bill/106-congress/house-bill/5667. 3.1.《证据法》与行政支持 证据行动4是一系列立法和行政部门努力的最新一期，旨在促进整个联邦政府的计划评估和证据建设（GAO2021）。该法案于2019年通过，目前仍在实施中。每个机构都必须指定三名高级官员负责促进评估和数据治理：一名评估官员，一名首席数据官和一名统计官员 。所有机构都必须制定年度评估计划，并制定建立证据的战略方法。认识到各机构的能力不同，该法案还要求发布能力评估，使研究人员和决策者能够评估评估工作并推动进一步研究。 本届政府通过OMB（由DanielleBerman代表，他在我们的研讨会上讨论了OMB在实施《证据法》第一篇中的作用），通过发布指导文件来支持基于证据的政策制定 对于机构(OMB通告编号A-11第290节,M-21-27,M-20-12,M-19-23,and M-22-12).这些文件描述了全机构学习议程和年度评估计划的价值和目的，并鼓励使用最严 格的方法来满足证据需求。拜登-哈里斯政府特别致力于通过政府范围内的支持进行循证决策，以促进发展评估文化，包括专业发展计划，技术援助和社区建设工作。 根据发言人的评论和以下机构的文件，我们考虑EERE的评估工作，因为它被广泛认为是该机构的主要评估办公室。我们还考虑HHS和EPA评估 努力，因为他们相对发达的文化可以为DOE提供教训。最后，我们在本节的最后一部分讨论在DOE建立评估文化。 3.2.DOE和EERE努力 在《证据法》和《OMB指南》要求的DOE财政年度（FY）2024评估计划（DOE2022）中，计划评估是管理大量不同计划的关键，并为计划和预算做出重要决定。但是，DOE没有全机构评估策略。相反，其计划侧重于机构一级的流程和支持，并将评估委托给职能办公室和计划经理。 DOE已经使用各种评估来评估其计划和办公室的不同方面。尽管同行评审（一种过程评估形式）已成为大多数办公室的普遍做法，但我们发现对RD＆D计划的有效性和效率进行系统影响评估的情况并非如此，并且整个机构的能力不足以进行这些评估。在2016年至2021年之间，进行了156项过程评估（A。 4美国国会，《2018年循证决策基础法案》，HR4174，PulL115-435，第115届国会，于2019年1月签署成为法律 平均每年27个），并且仅完成了16个影响评估（Dowd2023）。随着新办公室的建立，例如办公室清洁能源演示以及制造和能源供应链办公室，重要的是要考虑到未来的评估来管理计划。 EERE的首席计划评估员JeffDowd描述了其在研讨会上的努力。根据我们在其他机构中联系的评估社区成员的说法，EERE在跟踪和评估项目和计划方面在联邦机构，特别是技术机构中有着相对良好的记录。根据EERE的说法，关键项目必须每两年由独立专家小组进行同行评审。EERE还鼓励技术办公室进行影响评估，以根据计划目标评估计划和结果的因果影响。然而，办公室。 大多数使用准实验或非实验方法,其中一些基于专家启发。 来自DOE的参与者在每月的评估实践社区会议上讨论这些工作，这些会议在评估者和计划经理之间分享最佳实践。根据Dowd的说法，EERE还计划通过雇用具有相关专业知识的新联邦工作人员并激励技术办公室提高其能力来提高其影响评估的机构能力。EERE的战略也更加注重在计划规划、执行和决策中嵌入评估，为影响评估分配更多的资金，为准实验方法建立新的指导方针，并传达结果。该策略旨在在EERE内部建立证据文化，并可能传播到DOE的其他部分。尽管EERE拥有广泛的数据系统来跟踪合同期间的资金，项目奖励和进度，但评估人员在捕获时仍然面临重大限制。 产出和结果，特别是从长远来看，这些对于确定影响至关重要。建立数据基础设施以更好地支持评估工作是EERE更广泛的评估能力建设战略的要素之一。正在进行多种努力来跟踪项目的产出和EERE投资的结果；收集的数据将有助于进行和改进影响评估。值得注意的工作包括开发评估数据平台以及跟踪EERE投资支持的专利数据和商业技术。 4.1.1.EERE评估数据平台 自2022年以来，EERE一直在开发新的数据