阿肯色州 ACT 工作键的标准相关和差异有效性

Jeffrey Conway 博士 Introduction 在2020年冬季，ACT与 Arkansas 高等教育部门（ADHE）签订了一份数据共享协议，根据该协议，ADHE 将分享几批新生大学生的教育数据，而 ACT 则将其数据与这些学生的测试记录匹配。这项工作的原始目的是利用 ACT 的数据创建高中到大学的成功报告。®测试分数作为预测工具。本文的目的在于通过检验ACT分数的有效性，阐述该数据的额外用途。®工 作键®通过预测大一学年GPA来得分，并检查基于性别或 ethnicity 是否存在任何差异性效度来预测大一学年GPA。ACT WorkKeys 测试学生的基础职场技能（例如，数学、阅读理解、图表解读）。此外，学生可以获得一个 ACT®工作键®国家职业准备证书®(NCRC®), 该证书验证了求职者和后续培训项目所需的技能（A CT, 2014）。NCRC根据三项评估确定：ACT。®工作键®应用数学 ， ACT®工作键®工作场所文档和 ACT®工作键®图形识字。 Data 为了开始，创建了一个独特的标识符，该标识符结合了姓名、姓氏和出生日期，以找到匹配的工作钥匙评估分数。接下来，创建了一个独特的数据集，该数据集包含了阿肯色州教育系统内学生（无论是两年制还是四年制机构）的第一年大学GPA以及他们的工作钥匙得分。这些学生在入学前的高中阶段参加了工作钥匙测试。该数据集包含964名学生。样本中女性占52%，白人占63%，黑人/非裔美国人占20%，拉丁美洲裔/西语裔占11%，其余部分来自亚裔（1%）、美洲原住民（0.5%）、太平洋岛民（0.5%）和多元种族群体（4%）。最后，NCRC区别的分布如下：不合格（9%）、铜牌（26%）、银牌（32%）、金牌（22%）、铂金（11%）。研究的关键变量描述性统计见表1。 分析 相关系数概述 这一部分高度依赖相关系数，理解如何解读相关系数对于充分利用论文的这部分内容至关重要。相关系数的范围从−1.00到+1.00，用于评估两个变量之间的关系强度。任何大于零的相关系数意味着两个被检查的变量在同一方向移动（即一个值上升，另一个值也上升）。相反，负相关意味着一个值上升时，另一个值下降。相关系数离零越远，关系越强（例如，相关系数为−0.50比+0.40更强）。根据Cohen（1988）的观点，相关系数为0.10表示小效应，0.30表示中等效应，0.50表示大效应。为了提供一些有意义的参考点，以下是使用大多数人熟悉的变量计算出的一些相关系数： •• 面试评分和工作表现 ： 0.40• 体重和身高 ： 0.42教育和收入 ： 0.33玩电子游戏和成绩的时间 ： − 0.25 相关系数结果 表2列出了WorkKeys分数与第一年大学GPA之间的相关性。表2中的所有相关性均为统计学显著（statistically significant）。p显著性小于0.01）。有趣的是，每项WorkKeys评估与GPA之间的相关性相同（0.40）。这些相关性表明WorkKeys分数与第一年大学GPA之间存在较强的正相关关系。 为了从不同的角度展示表2中的结果，图1显示了每个NCRC级别平均GPA的平均值。图1展示了阶梯状模式，随着NCRC级别的增加，平均GPA也相应增加。值得注意的是，GPA的最大增幅出现在青铜级和银级NCRC之间。 差异有效性概述 差异效度发生在测试分数与结果之间的关系因子群而异时，这可能表明分数的解释应根据不同子群而有所不同。差异效度通过回归分析来检验，其中测试分数与子群之间的交互作用被测试以确定最佳拟合回归线是否因子群而异。根据教育和心理测试标准(2014, p. 70)，“在存在可信的有效性差异证据的情况下，开发者应当向测试用户提供清晰的指导，说明在哪些情况下以及是否可以从这些子群体中个体的成绩分数得出预期用途的有效解释。”基于这一标准，在根据性别和种族/ Ethnicity 预测第一年 GPA 时，有必要测试 WorkKeys 评估是否存在有效性差异。此前，WorkKeys 的有效性差异尚未得到实证检验。 差异有效性结果 The first differential validity analysis was focused on gender. The regression test using genderproduced a significant interaction between NCRC level and gender (β = -0.25,p< .01)。交互作用的方向有利于男性而非女性。因此，NCRC 水平高估了男性的 GPA 水平（相对于女性）。该分析的结果绘制在图 2 中，显示了女性蓝色线条比男性橙色线条具有更强的斜率，从而在单独的回归方程中产生了截距差异。简单来说，相对于男性，女性的表现优于预测的 GPA 水平。随着女性在高等教育中的比例持续高于男性，这种小效应可能有助于缩小这一差距。这是一个在 ACT 研究中常见的发现，其中一个原因可能是女性往往具有更高的心理社会因素（Ndum 等，2015）。 基于种族/ Ethnicity 的差异，进行了两项有效性分析。首先，一项将黑人/非裔美国考生与白人考生进行比较的分析未产生统计学显著的交互作用（β = -0.08，p=n.s.). 第二，将西班牙裔/拉丁裔考生与白人考生进行比较的分析也没有产生统计上显著的交互作用（β = -0.07，p=n.s这些分析表明，对于黑人/非洲裔美国考生和西班牙裔/拉丁裔考生而言，NCRC水平与第一年GPA之间的关系并不因种族/ Ethnicity的不同而变化。 Summary 总体而言，在阿肯色州964名学生的样本中，WorkKeys 与第一学年的GPA之间表现出强烈正相关关系。高分的WorkKeys测试学生也更有可能拥有较高的GPA。此外，差异效度分析表明，WorkKeys 高估了女性的GPA，并且在黑人/非洲裔美国人和西班牙裔/拉丁美洲裔考生（与白人考生相比）中没有显示出显著差异。因此，基于这些数据，WorkKeys 预测第一学年的GPA，并且在公平性方面表现良好。 如同所有研究一样，本研究也存在局限性，为未来的研究开启了新的方向。首先，未来的研究应考虑亚裔、美洲原住民和太平洋岛民学生的差异效度（前提是每个子群体可以收集到足够大的样本量）。同样地，如果可能的话，黑人/非洲裔美国人和西班牙裔/拉丁美洲裔群体的结果应在另一个更大的样本中进行重复验证。高统计功效对于在回归分析中找到显著的交互作用效应至关重要。此外，英语学习者、有特殊需要的学生以及首次上大学的学生也应该被纳入测试。其次，本研究的结果应该通过使用工作绩效评级作为主要标准来进行复制和扩展。尽管WorkKeys是基于工作场所情境设计的，但它测量的一些核心学术技能也应与大学成功相关联。 第一年 GPA 在当前研究中被采用，因为易于收集大量样本。收集足够大的标准化工作绩效评价样本存在许多挑战，包括应用心理学中经常遇到的标准问题（Austin & Villanova, 1992）。标准问题的核心在于工作绩效难以衡量，因为它是一个多维度的构念，而评分中的偏见也很常见。使用工作绩效评价对本研究进行重复研究将提供额外证据，证明 WorkKeys 分数可以预测不同组应试者在工作场所取得相同成功机会的可能性。 参考文献 ACT. (2014).ACT 国家职业准备证书™. 检索自http: / / forms. act. org / certificate / pdf / NCRC - InformationFlyer. pdf美国教育研究协会、美国心理协会及教育测量国家委员会（编），2014年教育和心理测试标准。Austin, J. T., & Villanova, P. (1992). The criteria problem: 1917 - 1992.应用心理学杂志 ， 77（ 6) ， 836 - 874 。科恩 ， J.(1988) 。行为科学的统计功效分析（ 第二版) 。 Routledge 。 Ndum ， E. A. ， Allen ， J. ， Way ， J. D. ， 和 Casillas ， A.(2015) 。心理社会因素对大学一年级英语和数学成绩性别差异的影响。ACT. 关于行为 ACT 是一个以使命为导向的非营利组织，致力于帮助人们实现教育和职业成功。基于超过60年的研究，ACT 成为了职业教育准备解决方案可信赖的领导者。每年，ACT 为美国及全球的数百万学生、求职者、学校、政府机构和雇主提供学习资源、评估、研究和证书，旨在帮助他们在从小学阶段到职业生涯的各个阶段取得成功。 有关更多信息 ， 请访问 act. org