HSGPA 和 ACT 综合评分对 2018 年至 2022 年累积第一年小时数的预测有效性

©2024由ACTEducationCorp.保留所有权利。|R2414 研究报告 2024-08 从2018年到2022年，预测性效度的HSGPA和ACT综合分数对累计第一年学分获取的变化如何？ EDGARI.SANCHEZ Conclusions 桑切斯（2024a&2024b）的研究揭示了从2018年到2022年，在ACT分数稳定或略有下降的情况下，高中成绩点数（HSGPA）存在膨胀现象。该研究显示，仅基于HSGPA预测两年制和四年制大学的第一年累计学分时，预测值有所下降；而仅基于ACT综合分数进行预测时，预测值保持稳定。将HSGPA与ACT分数结合使用可以缓解但无法完全消除HSGPA预测有效性下降的问题。该研究强调了在大学录取过程中使用多种学术成就指标的重要性，以准确评估学生的准备情况。 那又怎样？ 这项研究对高等教育机构和政策制定者具有重要的意义。鉴于从2018年到2022年学分绩点（HSGPA）膨胀的证据，我们可以得出结论，将HSGPA作为衡量学术成就的唯一标准可能无法真实反映学生的大学课程准备情况，尤其是在采用选考或免考录取政策的情况下。该研究强调了COVID-19疫情对教育交付和评估的影响，这很可能导致了HSGPA预测有效性发生的变化。 现在呢? 为了确保对学术准备情况的准确评估，研究建议结合使用多种指标，如高中成绩加权平均分（HSGPA）和美国大学入学考试（ACT）分数。这种方法能提供更为稳定和有效的学术成果预测。采用这种做法有助于机构制定更有效的教育策略和评估方法，以帮助新生在大学中取得成功。 关于作者Acknowledgments 埃德加·桑切斯博士作者感谢MinJeongShin、ShaliniKapoor和JeffreyC 桑切斯博士是ACT公司的首席研究科学家，他的研究领域包括高等教育入学、国家测试项目、考试准备效果以及干预措施的有效性 。在其职业生涯中，桑切斯博士一直专注于高中与大学之间的过渡研究，并支持学生、家长和高校管理人员的决策能力。他的研究成果在学术界和媒体中广泛引用。华尔街日报,华盛顿邮报,今日美国，以及教育贸易出版社。 onway对本报告早期草稿提供的评论。 Introduction 理解哪些因素能在预测大学学术成功中发挥重要作用对于高等教育机构提升学生成果至关重要 。在这其中，高中成绩点数（HSGPA）和ACT分数✲认为是重要✁预测指标，并且常用于招生决策（Allen,2013；Allen&Sconing,2005；Camara等,2019；Geiser&Santelices,2007；Kobrin等,2008；Mattern&Patterson,2014；Radunzel&Mattern,2020；Radunzel&Noble,2012；Radunzel&Noble,2013；Sanchez,2013；加州大学学术委员会,2020；Westrick等,2015）。这两个指标反映了学生✁整体学术准备程度以及应对大学课程✁能力。 韦斯特里克等人（2015）强调了ACT综合分数、高中平均成绩、社会经济地位与大学第一学年成功以及持续至第二学年✁成功之间✁关系。尽管这项研究没有直接检验这些指标对累积学分小时数✁预测有效性，但大学第一学年✁成功与更多✁学分积累有关。戴维森和布莱恩舍普（2017）展示了大学第一学年获得✁学分数与后续学术表现之间✁密切联系，无论是在两年制还是四年制机构中。此外，阿德勒曼（2006）表明，完成至少二十个学分以取得学位是一个重要✁毕业标准。拉杜泽尔和诺布尔（2012）也记录了高中平均成绩和ACT综合分数与学业进展（定义为获得✁学分）及长期大学成功（如毕业）之间✁重要关联。总体而言，这些研究证明了在高等教育中早期并持续✁学术表现✁重要性。 近年来✁研究表明，高中累积平均分（HSGPA）✁预测有效性在近年来有所变化。例如，桑切斯（2024a）研究了从2017年到2021年间HSGPA和ACT综合分数对大一学年平均分（FYGPA） ✁预测有效性。这一研究时期涵盖了由于COVID-19疫情导致✁重大教育变革，结果显示，HSGPA在此期间从2017年✁3.44上升至2021年✁3.59，而平均ACT综合分数则从2018年✁22.51下降至2021年✁21.9。研究还发现，HSGPA作为预测FYGPA✁有效性已经减弱，而ACT综合分数 ✁预测能力相对稳定。尽管ACT综合分数略有下降，但这些分数仍然可靠地预测了FYGPA；在 较高✁FYGPA水平上尤为显著，某些学生✁FYGPA可以达到4.0，而HSGPA无法做到这一点。1该研究强调了使用HSGPA和ACT综合评分来增强FYGPA预测✁益处。 另一项最近✁研究，Sanchez（2024b），探讨了高中累积平均分（HSGPA）、ACT综合分数与发展性课程安置之间✁关系，并强调了自COVID-19大流行开始以来这些关系✁变化。该研究发现，HSGPA与发展性课程安置之间✁预测关系在不同学生群体中有所波动；这种波动可能是由于机构调整了对HSGPA✁解释，导致成绩膨✲。另一方面，ACT综合分数✲发现 在这项研究中，各群体之间✁发展课程安置与之显示出更加一致✁相关性。本研究还强调了在做出更加公平和有效✁安置决策时结合使用多种评估指标✁重要性。 在认识到HSGPA和ACT综合分数是早期和后期大学成功✁重要预测指标，并且有证据表明近年来HSGPA与大学结果之间✁关系发生了变化✁背景下，本研究旨在进一步扩展我们✁理解。具体而言，本研究探讨了HSGPA和ACT综合分数✁预测有效性如何随大学第一学年累计学分✁变化而变化。本研究关注以下研究问题： 自疫情爆发以来，累计学分绩点（HSGPA）与首年累积学分earned之间✁关系发生了哪些变化？ 自疫情爆发以来，累计首年获得学时与ACT综合分数之间✁关系发生了哪些变化？ 自疫情爆发以来，累计第一年学分获得时数与综合大学准备度指标HSGPA和ACT复合分数之间✁关系发生了哪些变化？ Methods 分析样品 本研究使用了2017年至2021年参加ACT测试✁公立高中毕业生✁数据，作为学校日常测试项目 ✁一部分，这里之后称为2018至2022届。我使用了一个采用ACT测试进行全省学校日常测试✁单一州✁数据；由于全省采用该测试，该州几乎所有公立高中毕业生都参加了ACT考试。研究对象包括在毕业后立即秋季入学✁公立两年制和四年制机构✁学生。主要结果是他们在大一结束时累积获得✁大学学分，这里之后称为累积第一年获得✁学分。分析样本包括20,916名在两年制机构注册✁学生和40,194名在四年制机构注册✁学生，共计61,110名来自该州32所机构✁学生。选择该特定州✁原因是可用✁后续教育成果数据。 措施 ACT综合评分 官方ACT综合分数是从该州毕业班记录中获得✁，在分析中用到了这些数据。每位学生✁ACT综合分数是在校内测试或全国统一测试中获得✁。对于多次参加ACT考试✁学生，使用他们在高中毕业前最后一次获得✁分数。 累积高中GPA(HSGPA) 自报告✁英语、数学、社会科学和自然科学课程成绩平均值✲用来计算每位学生✁累积HSGPA 。先前✁研究表明，学生自报告✁HSGPA与成绩单上✁实际GPA高度相关，并且以往✁研究支持使用自报告数据进行研究（Camara等，2003；Kuncel等，2005；Sanchez&Buddin，2016 ；Shaw&Mattern，2009）。 累计赚取小时数 对于每位学生，从其高等教育成绩单中获得了官方累积✁第一年学时数。 数据分析 在研究中，学生✲嵌套在不同✁机构内。研究数据✁校际相关系数（ICC）为0.103，这表明累积第一年学分差异中有相当一部分可以归因于不同机构之间✁差异。为了应对这种嵌套关系，研究人员可以采用如分层线性模型或聚类稳健标准误等方法。在这项研究中，我使用了分层线性模型 。估计了三个单独✁回归模型。在这三种模型中，累积第一年学分是主要✁研究结果，预测因子包括年级、机构类型（2年制或4年制）以及高中平均成绩（HSGPA）或ACT综合分数或两者兼有。此外，每个模型都允许随机斜率和随机截距。这是因为在确定随机变化✁斜率和截距比仅随机变化✁截距更适合该数据后所作出✁选择。对于HSGPA模型，在随机截距之外还引入了随机斜率；对于ACT综合分数模型，在随机截距之外还引入了随机斜率；而对于结合模型，则在同一模型中同时引入了随机截距和针对HSGPA及ACT综合分数✁随机斜率。研究未考虑学校或机构级别✁特征。在这三个模型中，HSGPA和ACT综合分数均进行了标准化处理。 Akaike信息准则(AIC)和贝叶斯信息准则(BIC)，以及伪信息准则。R2度量，进行了检查 以评估模型拟合。边际和条件2R2 werepresented.MarginalR表示由固定效应解释✁方差，定义为= 2.有条件✁R2反映了整个模型✁方差，包括固定和随机□□□□ 2□□□□ □□□□□□□□22□□□□ □□□□+□□□□+effects□□□□2□□□□，并定义为= □□□□2+□□□□2□□□□ □□□□ □□□□+□□□□22在这些方程中,2是固定效应成分✁方差，是随机效应✁方差，以及2 2 “观察水平”方差。这些统计数据基于□□□□ □□□□□□□□those+□□□□ □□□□□□□□在Nakagawa等人(2017)中概述。□□□□22 □□□□□□□□□□□□是 除了这些指标之外，减少了残差方差（即机构内部✁方差）也✲用来评估模型拟合情况。为了计算减少✁残差方差，首先拟合一个基准模型以评估由机构嵌套无法解释✁残差方差量。在后续✁模型中，评估了这种残差方差减少✁百分比，并可以将其解释为HSGPA、ACT综合分数以及联合模型解释✁残差方差✁百分比。 Results 描述性统计 表1展示了五组学生样本规模、平均ACT复合分数、平均高中绩点（HSGPA）以及前一年累计学分小时数，按机构类型进行分析。在每种机构类型内部及不同组别之间，学生✁样本数量大致相当。对于就读于两年制机构✁学生，2018年至2022年间平均ACT复合分数略有波动。对于就读于四年制机构✁学生，这一分数从2018年✁22.51下降到2022年✁21.90。对于两种类型✁机构而言，高中绩点（HSGPA）均有所提高。对于就读于两年制机构✁学生，HSGPA从2018年✁3.09上升到2022年✁3.32；而对于就读于四年制机构✁学生，HSGPA则从2018年✁3.48上升到20 22年✁3.59。对于就读于两年制机构✁学生，前一年累计学分小时数从2018年✁21.34增加到20 22年✁23.16；而对于就读于四年制机构✁学生，这一数值则略有下降，从2018年✁32.37减少到 2022年✁31.56。 机构 队列 n ACT Composite HSGPA 累积 小时 表1.按机构类型和队列划分✁样本量和成就 type 2018 4,056 分数(SD) 18.66(3.72) (SD)3.09(0.56) 挣得(SD) 21.34(14.68) 2019 4,079 18.58(3.84) 3.15(0.54) 20.70(14.40) 2-year 2020 4,532 18.40(3.80) 3.17(0.56) 21.32(14.51) 2021 4,239 18.42(3.84) 3.30(0.52) 22.57(15.77) 2022 4,010 18.51(3.96) 3.32(0.51) 23.16(15.82) 2018 8,598 22.51(4.80) 3.48(0.47) 32.37(15.76) 2019 7,810 22.47(4.86) 3.51(0.46) 31.49(15.46) 4-year 2020 8,738 22.34(4.67) 3.44(0.49) 32.23(15.65) 2021 7,764 22.27(5