证据建设的创新 ： 商务部内不断发展的计划数据管理实践

证据建设的创新： 商务部内不断发展的计划数据管理实践 商务数据治理委员会指标工作组报告 2023年9月26日 芭芭拉·唐斯 美国人口普查局评估官 NancyRitchey档案馆主任，NOAA ShannonArvizu 商务部首席数据官高级顾问 Overview 本报告总结了商务部（DOC）数据治理的工作 董事会（CDGB）的指标工作组（MWG）。MWG成立于2022年8月，负责促进CDGB数据治理工作组（DGWG）2022年6月报告“监测和评估ARP的最佳实践”中的建议的应用，IIJA （现称BIL）和其他计划：商务部数据治理工作组的报告。”1 本报告将交付给DOC首席数据官，以便进一步分发给 目标受众，包括DOC局级评估官，首席数据官，计划官以及支持计划设计，实施和评估的相关机构工作人员（统计学家，经济学家和其他社会科学家）。 MWG的主要建议是： 1.查看NTIA和EDA程序模型：项目管理员应研究 并利用NTIA和EDA为ARP和BIL计划采用的数据链接和评估的创新方法。 2.收集特定类型的程序数据：局应收集有关参与者、受赠方和服务地点的具体信息，以促进数据联系和 评估，使用人口普查局的数据链路基础设施，如本报告所述。 3.找到在DOC中安全共享数据的方法：DOC应该提供一个 与法律一致，在整个部门安全共享数据的能力，以实现大规模观测研究并缓解报告限制。 4.使用新的可用资源：局应利用DOC提供的资源来支持证据建设和评估。 5.投入更多资源继续推进：局应投入资源，以进一步推进计划数据管理和评估实践。 本报告分为四个部分，总结了MWG（1）收费和成员资格，（2）活动，（3）见解和机会以及（4）建议。 1监测和评估ARP，IIJA和其他计划的最佳实践：商务部数据治理工作组的报告（census.gov） 1.目标和成员 MWG负责促进DGWG建议在DOC各部门的应用，这些部门管理以下基础项目：美国救援计划(ARP)、降低通胀法案(IRA)、两党基础设施法(BIL、基础设施投资和就业法案(IIJA))和冠状病毒援助、救济和经济证券法(CARES)。 DGWG报告包括改进计划评估的具体建议，以及促进大规模观察研究以评估多个计划影响的建议。开展大规模观测研究使DOC能够全面了解 theimpactofseveralabove-baseprogramsoncommunities,theenvironment,andtheeconomy.Theresultsofthesestudieswillfurtherprovideinformationthatthegovernmentcanuseasitdeterminestheefficiencyofitsexpenditures.Specifically,therecommendthef DOC程序监控和评估方法的演变： 数据治理工作组商务部报告 为了探索采用这些建议的途径，CDGB于2022年8月授权MWG。NancyRitchey（NOAA档案部门负责人）和BarbaraDowns（人口普查局评估官）共同主持了MWG，并获得了ShannonArvizu（首席数据官高级顾问）的大量研究专业知识和分析支持。 代表获得基础以上资金的计划的四个DOC局召开会议，以分享计划设计和评估的初步方法。MWG参与局和 相关程序包括： 经济发展管理局(EDA)o重建更好的区域挑战o良好的工作挑战 少数族裔商业发展局（MBDA） o冠状病毒反应和救济中心 o州小企业信贷倡议技术援助。 国家海洋和大气管理局（NOAA） o气候就绪海岸（包括5个IRA资助的倡议和6个BIL资助的倡议） 国家电信和信息管理局（NTIA）o启用中英里宽带基础设施计划o宽带公平、访问和部署计划 o数字股权法案计划 o部落宽带连接计划 此外，来自其他DOC局和部门的代表支持监测 和评估工作也被邀请参加。MWG成员名称和隶属关系作为本文件的附件提供。 2.活动 MWG反复进行了一系列基于目标的短期工作（冲刺），以确定并利用应用DGWG建议的机会。 第一次冲刺的重点是促进DGWG建议的应用，这些建议与改进项目监测和评估测量实践和数据收集有关。监测和评估计划研究项目输出（例如，所服务的人口）和结果（例如，人口特征的变化 ）。 特别是，第一个冲刺侧重于以下三个DGWG建议： 1.提高评估的准确性:机构应根据计划实施阶段，直接与间接计划影响以及预计与观察到的计划影响来评估计划。 2.改善地理位置数据收集：机构应使用标准地理报告要素（例如，人口普查区，县，FIPS 代码等）来衡量主要和次要获奖者的位置以及服务/绩效/实施地点。 3.改进公平交付评估：机构应采取措施和 根据具体的立法意图和要求，评估计划交付中的公平分配和结果的可用指数。 MWG主席团成员介绍并讨论了四个阶段的拟议计划计划信息：预授予，实施，关闭和评估。局分享了进行中的 根据《2018年循证决策法》的要求制定的评估计划。提供的信息包括： 研究问题 用于回答研究问题的措施 措施的数据源 将使用和采取行动的方法 在MWG开发的早期，有人提议将重点放在确定一套适用于所有DOC计划的通用计划措施上。然而 ，MWG发现这项工作是不可能的，原因有两个，包括(1)MWG样本只包括9个项目，假设这9个项目的措施可以涵盖所有85个DOC项目清单2和(2)在MWG样本中的9个项目中，项目有立法要求，需要一个项目。 个性化的测量方法(例如，为NTIA的宽带计划定义服务不足的社区的立法要求不同于管理EDA的经济发展计划）。3 相反，在这第一次冲刺中，MWG专注于支持项目数据和测量实践的进步。MWG还试图确定直接和 这九个项目的间接影响。这些共同点包括对以下方面的影响: 本地就业增长 业务收入 业务形成 就业趋势 教育程度 生态系统生境恢复 第二个冲刺重点是如何促进DGWG建议的应用，这些建议与能够进行跨项目评估的大规模观察研究有关。 具体活动包括与MWG内部和整个DOC中的各种利益相关者进行访谈和深入对话，包括计划评估负责人，计划分析师，计划数据管理人员，赠款收购专家，GIS专家，权益指标专家和经济预测专家。这些利益相关者来自上述DOC赠款局，以及经济分析局（BEA），卓越绩效办公室，收购管理办公室，首席信息官办公室（OCIO），商业实施协调办公室（CIC）以及人口普查局工作人员和部门的代表。 2本文档的末尾有一个包含85个DOC程序列表的表格。 3关于共同度量标准开发的未来工作可能会集中在具有特定期望影响的DOC计划的整体上（例如，针对本地就业增长的计划或针对业务形成活动的计划） 访谈和对话侧重于与以下相关的表面信息： 有助于将有关计划参与者或受赠方的管理数据链接到统计数据集所需的数据字段 从受赠方收集更精细数据的机遇和挑战 在局内部和与其他DOC局外部共享计划数据以实现大规模观测研究的机遇和挑战 MWG访谈和讨论的协作和合作性质有助于分享经验教训，并确定共同需求和潜在改进。确定的一项改进与计划如何对社区的影响进行基准和跟踪有关。这项工作将由新成立的人口普查卓越中心（COE ）解决，该中心负责向DOC赠款机构提供统计措施，以支持对计划成果的评估。稍后将提供有关COE如何满足这些需求的更多详细信息。 这份报告。 确定的另一个需求是更好地了解特定地区的计划成果，这将由经济事务副部长办公室（OUSEA）的新成立的区域经济研究计划（RERI）解决。区域经济 ResearchIitiative负责进行研究，开发数据产品并提供数据服务以支持基于地点的计划工作。RERI将基于地点的政策定义为解决地点困境的政策(即Procedres.，针对未满足的当地需求，如高失业率或基础设施缺口)或建立一个地方的能力(即Procedres.，行业部门的实力，当地劳动力的技能)。 最后，共享计划数据的一个共同挑战导致寻找一种解决方案，以简化计划管理各个阶段的报告和评估工作。首席数据官办公室（OCDO）正在领导各种活动，以开发一种以安全，自动化和自助服务方式在整个部门共享计划数据的方法。这种方法使局能够在各自的数据环境中保持控制和存储，同时允许其他部门利益相关者，例如向秘书报告的利益相关者，评估官员和。 统计线索，访问特定数据字段以进行商业智能和跨程序分析。 最后，MWG的合作和合议活动直接支持了DGWG报告的最终建议，该建议旨在创建一个实践社区 ，以分享经验教训，促进跨局合作，并激发证据建设实践的下一步发展穿过DOC。 3.见解和机会 MWG的工作产生了多个方面的见解和机会，包括计划成果目标、数据收集需求、数据共享能力和数据链接要求。我们在下面列出了这些见解和机会。 见解1：具有基础以上资金的DOC计划共享共同的计划目标-改善基于地点的成果 在我们的九个项目的样本中，有一个共同的目标：改善社区的直接和间接成果。这些成果侧重于改善就业、收入、能力建设(由项目定义)、业务增长和生态系统条件。根据项目的重点，预期成果因地域或行业而异。 机会：DOC计划可以受益于针对计划数据要求的系统和主题方法，以促进跨机构和跨计划分析。 由于DOC计划更多地关注基于地点的结果和特定行业的增长，因此有机会采取主题方法来改善计划数据收集和分析。一个 approachcouldlookfirstattheuniverseofallDOCprogramsthatintendstohaveplace-basedresultsorindustry-specificresearchquestions.Thenidentifyspecificcommonresearchquestions acrossprogram,aswellaspotentialcommonmeasuresandrelateddataset.Theseeffortscouldleadtothedevelopmentofasharedprogramdatastructurethatfacilitatecross-program 在地理层面进行分析。 洞察#2-为了促进跨程序分析，DOC程序需要从受赠方、次受赠方和/或接受者收集特定类型的详细粒度数据，以支持与其他统计或程序数据的联系。 为了促进大规模的观测研究，必须收集两种类型的数据： 1.识别服务提供位置的地理数据，以及 2.评估受影响的企业、个人和社区的详细数据。 这些数据一起提供了提供服务的社区，直接服务的个人或企业以及由此产生的社区和个人级别的快照 结果。这些数据也可以用来识别重复接受者，为未来的联邦资金和服务决策提供信息。 下面描述了促进这些数据收集的五个机会。前三个侧重于地理数据，第四个侧重于详细的个人、企业和社区级别的数据，第五个侧重于一般数据收集。 机会：使用TigerWeb（以及其他相关的人口普查局地理工具），NSF的服务区域地图生成器指南，联邦信息处理系统（FIPS）代码， 和人口普查区信息，以指定服务地点，并使统计数据能够进行地理联系，以进行基准测试和跟踪地理结果。 Place-of-servicereportingisimportantforidentifyhowthereceiptofserviceschangedlocaleconomiccharacteristics.Correlationshipanalysescouldbedonebylinkingprogramdatato 社区措施，使用服务地点作为共同的“关键”来组合数据源，并在计划干预之前，之中和之后产生局部特征的重复横截面措施。 使用服务地点作为地理标识符对于理解本地 impactsthanusingothergeographicmeasures,suchasgranteeorsub-granteeaddress,asthegranteemaynotbeco-locat