初始证据支持对增强版ACT测验得分的解释

初步证据支持对增强型ACT考试成绩解释 JeffAllen和TyCruce 引言 ACT考试已经演变，以更好地满足学生需求。考试变化旨在帮助学生们： 在考试当天发挥出最佳水平。 拥有灵活性和选择权，以决定他们如何测试。 展示他们真正能力和潜力。 调整他们测试体验以适应他们未来目标并突出他们优势。 支撑这一演变，在2024年6月全国考试日期，实施了ACT测试两个版本：旧版ACT测试和新版增强型ACT测试。在所有进行在线测试考试中心，参加该全国考试日期学生被随机分配选择其中一个版本测试，无论选择哪个版本成绩都适用于大学报告。 与传统测试一样，增强型测试包括英语、数学、阅读和科学多项选择题。增强型测试比传统测试更短，并且每个测试问题（项目）时间更充裕。增强型测试还包括嵌入式现场测试项目，这些项目不计入学生成绩。传统测试与增强型测试规范比较见表格1。 除了对项目数量和允许时间调整外，增强型测试测试设计也存在其他差异。有关测试设计 更多详细信息，请参阅增强型ACT（ACT，2025）设计框架。 表1加强型和传统ACT考试规范 测试章节得分现场测试总计数量 项目项目项目允许分钟数 英语 40 10 50 35 增强了数学 41 4 45 50 行动阅读 27 9 36 40 科学 34 6 40 401 总计 142 29 171 170 英语 75 0 75 45 遗产数学 60 0 60 60 行动阅读 40 0 40 35 科学 40 0 40 35 总计 215 0 215 175 在本告中，我们总结了支持对增强型ACT得分解释一些证据。我们重点关注可靠性、同时效度、预测效度和得分可比性。本告未涵盖、支持对增强型ACT得分解释其他重要证据包括与州内容标准对齐、与大学和职业生涯准备期望对齐、测试后学生感知以及其他心理测量学证据（例如，关联研究设计、测量标准误、评估等值结果群体不变性、时间速度） 。有关这些及其他主题更多详细信息，请参阅《增强型ACT设计框架》（ACT，2025）和《增强型ACT链接研究》（Li，Kapoor，Arthur，Huang，Cho，Qiu，Wang，2025）。另外，请注意，本告记录一些结果也总结在《增强型ACT设计框架》第4章（ACT，2025）中。 我们认为本告中提出证据支持将增强型ACT分数解读为高中学术成就和大学入学准备指标。反过来，这些解读支持将增强型ACT分数用于指导大学招生决策、授予大学奖学金、为学生分配项目和课程、识别需要学术支持学生，以及在学校和地区层面衡量学术成就以用于问责制度。由于增强型ACT章节测试分数使用等百分位等值方法与继承型ACT章节测试分数相联系，增强型ACT支持对从继承型ACT确立ACT章节分数持续解读，包括对ACT大学准备基准解读。 12024年6月加强版ACT考试中，科学测试分配了45分钟时间。 原可靠性百分比 方法 可靠性 可靠性或精确性指是测试程序重复测试中得分一致性（美国教育研究协会AERA、美国心理学会与美国测量教育委员会，2014）。研究ACT考试成绩可靠性系数如何在不同版本ACT考试中变化，对于支持成绩解释非常重要。我们比较了参加2024年6月链接研究在线版增强型和传统ACT考试可靠性系数。由于进行了两种增强型ACT考试形式测试，我们展示了这两种形式平均可靠性系数。增强型ACT考试每个测试形式可靠性估计已在链接研究中提供（Li等人，2025）。 我们预计，与传统ACT相比，增强版ACT节测试成绩和综合分数可靠性将下降，鉴于增强版ACT中出现题目数量减少。利用SpearmanBrown预测公式（Spearman，1910；Brown ，1910），图1展示了测试长度与可靠性关系，假设传统ACT英语、数学、阅读、科学和综合分数可靠性分别为094、093、089、089和097。2 复合材料 英语 数学阅读 科学 100 90 80 70 60 50 40 30 20 10 0 0 102030405060708090100 原始测试长度百分比 图1测试长度变化与预期可靠性变化关系 2这些是从2024年6月在线测试中估计旧版ACT可靠性评估。 原始相关性百分比 鉴于增强版ACT（表1）中得分项数量，预计增强版ACT英语、数学、阅读、科学和综合分数 可靠性将分别达到传统ACT相应分数可靠性95、97、95、98和99。这种预测是粗略，因为它假定除了测试长度不同外，测试本身是相同，而增强版和传统ACT之间还存在其他可能影响可靠性差异。 考虑到增强ACT与旧版ACT相比，预期其在部分测试和综合分数上可靠性有所下降，我们预计测试分数相互之间以及测试分数与其他同期及后续学业成就评估之间相关性将轻微下降。相关性 很抱歉，您提供内容为X，这不是有效英文文本，因此我无法进行翻译。请提供有效 英文文本以便我进行翻译。Y 在测试分数（）和其他学术成就衡量指标（）之间关系是一个函数。 很抱歉，您提供内容为X，这不是有效英文文本，因此我无法进行翻译。请提供有效 英文文本以便我进行翻译。Y 测试分数可靠性。方程1显示了与（）之间预期相关性。 等式1：随可靠性变化而产生相关性预期变化 考虑到可靠性（），原始相关系数（），和原始可靠性（）： 暂不支持该符号翻译。请提供可翻译英文文本。00 00 应用SpearmanBrown预测公式和方程1，图2展示了测试长度与另一个变量之间关系。随着测试长度减少，预期相关性下降非常缓慢。实际上，即使在测试长度减少50情况下，预期相关性仍然至少是原始相关性90。 复合材料 英语 数学阅读 科学 100 90 80 70 60 50 40 30 20 10 0 0 102030405060708090100 原始测试长度百分比 图2测试长度变化与其他变量相关性变化关联关系 考虑到增强型ACT（表1）中评分项目数量，增强型ACT英语、数学、阅读、科学和综合分数与其他变量相关性预计将分别约为97、98、98、99和99，与传统ACT观测到相关性相当。 ACT各部分测试成绩之间相互关系 ACT部分测试分数相关性为测量构造之间共变或差异关系提供了证据。例如，较高英语阅读相关性表明了共变关系，而较低英语数学相关性表明了差异关系。在2024年6月链 研究中，我们比较了所有参与在线ACT测试学生，将加强版ACT科目测试分数相关性与传统ACT相关性进行了比较。尽管进行了新改进，但我们可以预计，加强版ACT与传统ACT在科目测试分数之间整体关系模式将相似，尽管我们预计由于这些测试分数预期可靠性较低，加强版ACT相关性可能会稍微低一些。 同时效度 ACT考试成绩解释有效性得到了ACT分数与其他当前学术表现衡量指标之间关系证据支持 。增强版ACT同期有效性论点得到了增强版ACT测试ACT分数与高中成绩以及旧版ACT测试先前考试成绩之间关系证据支持。我们比较了两组学生相关性：那些随机分配到增强版ACT学生和那些随机分配到旧版ACT学生。 首先，我们比较了ACT综合分数与高中成绩之间相关性。通过ACT注册系统（MyACT），学生可以选择告他们在高中所修课程和他们所获得分数。高中GPA（HSGPA）是通过平均学生在英语、数学、社会科学和自然科学等至多23门核心高中课程中所获得自我告分数来计算。除了HSGPA之外，我们还比较了ACT综合分数与ACT严谨指数之间相关性。ACT严谨指数类似于HSGPA，但为学生修读更难课程赋予更多分数。ACT严谨指数基于学生告至多30门不同高中课程分数（包括外语和艺术，以及核心学科领域），并纳入高级课程学习和学生计划修读高级STEM课程（化学、物理、高级数学和微积分）指标。有关ACT严谨指数更多信息，请参阅AllenMattern（2019）。 其次，我们比较了学生ACT科目考试成绩与他们各自在四门核心学科领域中学成绩之间相关性（即英语、数学、社会科学和自然科学）。对于使用MyACT告至少三门英语、数学、社会科学和自然科学课程成绩学生，分别计算了其学科领域GPA。 最后，我们比较了2024年6月链研究学生测试成绩与之前ACT考试成绩之间相关性。总体而言，54参与2024年6月链研究学生在之前已经参加了ACT考试，这一比例在随机分配到强化版ACT考试或传统版ACT考试学生之间没有差。 如前所述，两个指标之间相关性两个指标可靠性函数。如果一个或两个指标可靠性降低 ，那么相关性也有望降低。因此，我们预计，增强ACT成绩与高中课程成绩和以前ACT考试成绩相关性可比，但与传统ACT成绩相关性略有降低。除了比较增强和传统ACT相关性之外，我们还测试了相关性差否具有统计学意义。如果相关性差测试z分数大于30，则认为相关性差具有统计学意义。 对增强型和传统ACT差性效度差分析 它可能这样，ACT考试成绩与其他变量关系因不同情况而。 差性效度 学生群体。这些差证据表明此外，增强型ACT与传统ACT差效度可能不同。检测增强型ACT与传统ACT在差效度上差，对于理解否有关支持不同群体对ACT分数进行解释 证据具有重要意义。 差 学生对于提升版ACT有不同反应。因此，我们对以下内容进行了测试：在不同（方面程度上） 有效性验证在增强版与旧版ACT之间。例如，如果旧版ACT总分对学生中女性与男性相比在高中平均成绩GPA方面具有更强相关性，但增强版ACT总分无论学生性别如何都与高中平均成绩具有相似相关性时，可能会出现区分效度差。区分效度差测试使用了多个线性回归交互项。当差zscore大于30时，结果被认为具有统计学意义。学生子群体包括性别组（女性、男性及其他性别），种族民族组（亚裔、黑人、西班牙裔、美洲原住民、原生夏威夷人或其他太平洋岛民、两种或更多种族及白人），以及年级水平（610年级或1112年级 ）。 除了通过学生人口统计学特征测试差有效性外，我们还测试了学生在2024年6月考试日期准备情况对差有效性影响。由于学生不知道他们否会参加增强版或传统ACT考试，也不知道增强版ACT考试规范，在2024年6月考试之前，学生无法专门为增强版ACT做准备。学生可以使用为传统ACT开发考试准备资源，这些资源也可能在增强版ACT中对他们有益。然而，也有可能为准备考试学生和未准备考试学生，ACT分数有效系数存在差，以及增强版和传统ACT在考试准备相关差有效性方面存在差。因此，我们通过测试以下差有效性指标进行了差有效性测试，包括1）学生否以前参加过ACT考试，2）否 学生此前参加过PreACT测试，3学生否参加过一次或多次限时ACT实践测试，以及4学生 否使用任何考试准备资料进行了备考。ACT和PreACT先前测试指标通过历史ACT和PreACT测试数据获得，而其他两个考试准备指标通过在2024年6月ACT考试之后特别调查获得。 所有关于差有效性分析都针对ACT分数与高中GPA、ACT严谨指数以及先前ACT考试成绩相关性进行。 预测效度 ACT测试分数解读有效性也得到了ACT分数与随后学术表现衡量标准之间关系证据持，例如大一累计大学GPA（FYGPA）、个体大一大学课程成绩，以及大学学位获取。因此，ACT分数预测有效性证据需要时间让参加ACT测试学生进入大学。因为大多数参加2024年6月联 研究中改进版ACT学生刚刚完成11th等级，针对增强型ACT预测效度证据尚不可用。 然而，可以使用传统ACT考试考生历史数据，以及他们进入大学后数据，来考察当这些分数基于一个与增强版ACT评分项数量相匹配更短测试时，ACT各部分分数和总分预测效度可能发生变化。为了实现这一点，我们利用了传统ACT考试测试数据以及为参加传统ACT考试学生收集大学成果数据。对于每种测试形式，我们从每个部分测试中随机选取了项目，以模拟与增强版ACT评分项数量相匹配缩短测试。3以下我们对这些简化测试称呼：“模拟增强测试”。例如，对于每种英语测试形式，我们从完整英语测试中随机选择了75个测试项中4