使用集中彩票来衡量学前教育影响：来自 DC 学前班研究的见解

研究报告使用集中彩票来衡量学前教育影响来自 DC 学前班研究的见解Tomas Monarrez Erica Greenberg Grace Luetmer Carina Chien 2020 年 10 月教育数据和政策中心 关于城市学院非营利性城市研究所是一家领先的研究机构，致力于开发基于证据的见解，以改善人们的生活并加强社区。 50 年来，Urban 一直是对复杂的社会和经济问题进行严格分析的可靠来源；为政策制定者、慈善家和从业者提供战略建议；以及为所有人扩大机会的新的、有前途的想法。我们的工作激发了有效的决策，促进了公平并提高了人们和地方的福祉。版权所有 © 2020 年 10 月。城市研究所。允许复制此文件，归属于城市研究所。蒂姆·梅科的封面图片。 内容独立声明 32 A CK N OW L E D GM E N TS致谢本报告由 Heising-Simons 基金会资助。我们感谢他们和我们所有的资助者，他们使 Urban 能够推进其使命。所表达的观点是作者的观点，不应归因于城市研究所、其受托人或其资助者。资助者不决定研究结果或城市专家的见解和建议。有关城市研究所资助原则的更多信息，请访问 urban.org/fundingprinciples。我们感谢 Parag Pathak、Christina Weiland 和 Christopher Walters 为本报告提供的非凡指导以及对 DC 幼儿园更广泛的研究。我们在哥伦比亚特区国家教育总监办公室的研究合作伙伴，包括 Elizabeth Groginsky（现为新墨西哥州幼儿教育内阁秘书）、Bonnie Mackintosh（现为美国卫生与公众服务部规划研究办公室）和评估）、Gwen Rubinstein、Bradley Quarles、Paul Corbett、Gandhar Kothari 和 Evan Kramer，以及在 My School DC 的 Catherine Peretti 和 Michelle Yan，帮助我们签订了数据共享协议并引导数据传输，并提供了宝贵的见解，因为研究取得进展。从项目构思开始，Matthew Chingos 一直是模范高级顾问。最后，我们感谢 Rebecca Gomez 和 Andrea Michel，他们的支持使这项研究成为可能，他们的思考大大丰富了它。四 使用集中彩票来衡量学前教育影响越来越多的城市为为孩子寻求免费公立幼儿园的家庭组织了通用申请系统。这些城市，包括亚特兰大、波士顿、新奥尔良、纽约市和华盛顿特区，在系统参数、学前教育资格标准以及学前教育项目的质量和可用性方面存在很大差异。他们分享的是使用一种创新的分配机制——延迟接受 (DA) 算法——将学生分配到收到的申请比他们的席位多的学校 (Abdulkadiroğ卢等人。 2017；盖尔和沙普利 1962；和帕塔克 2011）。反过来，DA 算法为自然发生的随机实验提供了基础，有可能彻底改变学前影响评估。基于在波士顿和新奥尔良成功应用基于 DA 的分配方法（Abenavoli 等人 2020；Manship、Faria 和 Berg 2020；Weiland 等人 2019；Weixler、Lincove 和 Valant 2020），本报告描述了所采取的步骤使用通用申请系统和集中抽签来学习哥伦比亚特区的公共学前班计划。我们首先描述彩票重建和模拟，这是在评估中使用彩票的第一步。接下来，我们研究模拟结果及其对影响评估的影响。然后，我们将彩票模拟数据和注册记录联系起来，以检查合规性和统计能力。最后，我们概述了这些活动如何为评估公立幼儿园的影响奠定基础。我们希望此处概述的程序将有助于使使用集中学校抽签的学前教育项目获得最先进的项目评估方法的民主化。研究团队与学区和项目管理人员合作，可以使用此处提供的评估“配方”对教育项目进行自己的评估。拥有既定和新的幼儿园前计划的地区，以及拥有新的或扩大的学校彩票的地区，都可以使用高质量的证据来改进政策制定和实践。下面，我们将介绍基于 DA 的方法的优势和局限性，以便研究人员可以决定是否以及如何在自己的环境中实施它们。然而，首先，我们注意到 DC 公立学前班及其集中招生抽签（称为 My School DC）最适合使用基于 DA 的方法。 DC 公立幼儿园是一个庞大而多样化的计划，在哥伦比亚特区招收了 71% 的 3 岁儿童和 87% 的 4 岁儿童（Friedman-Krauss 等人，2020 年）。该计划收到了 5,669 份申请 2US I N G CE N TRA L I Z E D L O TTE RI E S TO M E A S U RE P RE S CH OOL I M PA CT3 岁儿童项目 (PK3) 和 2018 年 4 岁儿童项目 (PK4) 的 3,195 份申请，为学习提供了大量样本 (My School DC 2018)。家庭在他们的申请中最多可以对 12 个选择进行排名（导致几乎所有学校都超额认购），并且他们有资格获得由学校和当地教育机构确定的各种偏好状态。这会在一个家庭获得该计划席位的可能性上产生相当大的差异（Greenberg et al. 2020）。分配算法运行一次，所有学生的所有结果都取决于一次随机抽签。下面详述的这些特性和其他特性说明了常见应用系统最适合程序评估的条件。重建和模拟彩票在 2000 年代初期，波士顿和纽约市的教育领导者一直在努力设计集中的学校选择系统，这种系统对家庭和学区工作人员来说既公平又不那么繁重。这引起了团队著名经济学家的兴趣（Parag Pathak、Atila Abdulkadiroğlu、Alvin Roth 和 Tayfun Sönmez），他们开发了一种强大的学校集中选择机制，可防止家庭利用该系统为自己谋取利益（Pathak 2011）。这种学校分配机制，即延迟录取算法，是当今全国数十所学校系统使用的学校匹配系统的基础。DA 算法通常被称为“学校抽签”，因为超额认购的学校（即申请人数多于空缺席位的学校）通常会随机抽签以确定哪些学生获得座位。当该系统具有共享的基础设施时，该系统是“集中式的”，父母可以使用该基础设施来提交其首选学校的排名列表。集中式系统的另一个基本特征是申请人的抽签号码在所有学校都是通用的。此外，学校（和学区）可以设置申请人的优先级，这些优先级与抽签号码相结合，以确定他们录取申请人的顺序。典型的优先权规则包括兄弟优先权和边界内居民优先权。要使用学校彩票进行评估，了解底层分配算法至关重要。我们在方框 1 中总结了 DA 算法。1 这个想法是初步将学生与他们最喜欢的学校进行匹配，因为他们的名字已从申请人名单中读出。一旦学校达到容量，申请人的优先分数将与初步匹配的学生的优先分数进行核对。优先分数被定义为申请人在学校的入学优先排名和他们的抽签号码的组合。如果申请人的优先级得分高于初步匹配列表中的任何人，则申请人将替换列表中优先级得分最低的匹配个人。这 US I N G CE N TRA L I Z E D L O TTE RI E S TO M E A S U RE P RE S CH OOL I M PA CT3被拒绝的申请人将重新进入未匹配申请人列表，拒绝申请人的学校从申请人的排名选择列表中删除。要使用在学校抽签中进行的自然随机实验进行政策评估，我们必须了解抽签的结构，以评估哪些学生被随机分配到该计划中以及为什么。理解彩票的一种方法是通过模拟为以前的彩票迭代复制学生程序匹配列表。框 1 提供了将彩票输入转换为匹配列表的步骤。一些输入因情况而异，但框 1 中概述的例程的总体框架对于所有在学校作业中使用 DA 算法的学校系统都是通用的。方框 1集中择校中的延迟录取算法DA 算法使用四个数据集作为输入：1.申请人排名的学校名单2.申请人的随机抽奖号码（从 0 到 1，0 为最佳结果）3.学校的开放座位容量4.学校对申请人的静态优先级排名（例如，学区内优先或兄弟姐妹优先），其中 1 表示最高优先级；没有优先权的申请人默认接收一个大整数（例如，11111）一个首先，我们计算总体优先分数在申请人排名的每所学校，定义为普通彩票号码加上他们在名单上每所学校的优先排名。当数据按应用程序构建时，这是最容易实现的（即，每一行都标识一个唯一的申请人和排名的学校）。优先级分数提供了申请人与学校座位匹配的顺序（优先级分数越低越好）。可以按照以下步骤概述 DA 算法。还有其他的算法制定方法，其中一些更有效，但我们发现这种表征最容易直观理解。尽管未匹配列表中有学生，但以下是每个未匹配学生的步骤：申请人向他们最喜欢的没有被拒绝的学校提出申请，如果申请人没有列出更多学校，则将其从不匹配列表中删除，学校将转到下一个申请人。 4US I N G CE N TRA L I Z E D L O TTE RI E S TO M E A S U RE P RE S CH OOL I M PA CT如果学校没有满员（比匹配的学生有更多的可用席位），学校将初步接受申请人，申请人从不匹配的申请人名单中删除，学校转移到下一个申请人。如果学校已满，它会检查申请人是否优先于任何初步匹配的学生。如果是这样，学校将拒绝最低优先级的初步匹配申请人并接受当前申请人，并将被拒绝的申请人重新置于未匹配申请人名单中。如果没有，申请人将被拒绝并申请下一个最喜欢的学校（并回到流程的开始）。一旦没有更多不匹配的学生，算法就会停止。该算法的输出是申请人 ID 及其匹配的学校 ID 的列表。此列表中缺少学校 ID 的申请人是无与伦比的。a 学校静态优先级或偏好不会随着 DA 分配算法的变化而改变。可能还需要申请人的兄弟人行横道来解释动态偏好，这些偏好会随着算法的迭代而变化，因此更难解释。我们在 DC 中为 2014 年至 2018 年的每个彩票年度的 PK3 和 PK4 实施了彩票模拟。2 我们从 DC 彩票管理部门获得的数据非常适合复制和模拟。申请文件按“申请 ID”排序，将申请者与他们排名的每所学校联系起来（按优先顺序）。此外，该文件还包括一栏，表明学校对申请人的静态优先级排名，以及申请人的抽签号码。这促进了数据准备过程，因为我们不必创建从学生特征到学校优先事项的映射（这些映射因华盛顿特区的学校而异，有些很复杂），这会导致测量误差。为简单起见，我们在彩票模拟中仅使用静态优先级排名。3表 1 显示了我们的模拟复制 DC 彩票管理部门提供的申请人匹配文件的速率的汇总统计数据。对于 2018 年的 PK3，我们的模拟成功复制了 5,669 份申请中的 5,549 份，即 97.9%，这意味着我们的算法成功地将申请者与他们实际通过 DC 抽签匹配或被列入候补名单的学校进行匹配。在 120 次失败的复制中，83 份申请被匹配到错误的学校，21 份匹配但在真实数据中被列入候补名单，16 份在模拟中被列入候补名单但在真实数据中匹配。我们对每个彩票年度的 PK3 和 PK4 的复制率从 96% 到 98% 不等。我们认为这些复制率对于政策评估来说足够高。 US I N G CE N TRA L I Z E D L O TTE RI E S TO M E A S U RE P RE S CH OOL I M PA CT5表格1DC幼儿园彩票比赛的复制率按年份和年级数量复制的匹配在 真实数据无与伦比的 真实数据真实数据中的申请人在我们的模拟中正确分享正确错误总数在我们的模拟中被复制为无与伦比的在我们的模拟中被复制为匹配（到错误的学校）在我们的模拟中复制为匹配PK320144,2504,1680.9818212561420154,9254,8500.9857512471620165,1865,0980.9838813601520175,1675,0840.9848313551520185,6695,5490.979120218316PK420142,5062,4060.96010030462420152,9982,9030.96