阿肯色州 ACT 工作键的标准相关和差异有效性

ACT的标准相关和差异有效性®工作键®在阿肯色州 JeffreyConway博士 Introduction 在2020年冬季，ACT与Arkansas高等教育部门（ADHE）签订了一份数据共享协议，根据该协议，ADHE将分享几批新生大学生的教育数据，而ACT则将其数据与这些学生的测试记录匹配 。这项工作的原始目的是利用ACT的数据创建高中到大学的成功报告。® 测试分数作为预测工具。本文的目的在于通过检验ACT分数的有效性，阐述该数据的额外用途。®工作键®通过预测大一学年GPA来得分，并检查基于性别或ethnicity是否存在任何差异性效度来 预测大一学年GPA。ACTWorkKeys测试学生的基础职场技能（例如，数学、阅读理解、图表解 读）。此®外，学生可以获得一个®ACT®® 工作键国家职业准备证书(NCRC),该证书验证了求职者和后续培训项目所需的技能（A CT,2014）。NCRC根据三项评估确定：ACT。®工作键®应用数学，ACT®工作键®工作场所文档和ACT®工作键®图形识字。 Data 为了开始，创建了一个独特的标识符，该标识符结合了姓名、姓氏和出生日期，以找到匹配的工作钥匙评估分数。接下来，创建了一个独特的数据集，该数据集包含了阿肯色州教育系统内学生 （无论是两年制还是四年制机构）的第一年大学GPA以及他们的工作钥匙得分。这些学生在入学前的高中阶段参加了工作钥匙测试。该数据集包含964名学生。样本中女性占52%，白人占63% ，黑人/非裔美国人占20%，拉丁美洲裔/西语裔占11%，其余部分来自亚裔（1%）、美洲原住民 （0.5%）、太平洋岛民（0.5%）和多元种族群体（4%）。最后，NCRC区别的分布如下：不合格（9%）、铜牌（26%）、银牌（32%）、金牌（22%）、铂金（11%）。研究的关键变量描述性统计见表1。 表1.描述性统计 变量 Mean SD Scale GPA 3.25 0.63 0–4.33 WK应用数学 79.12 4.58 65–90 WK图形素养 79.26 4.17 65–90 WK工作场所文档79.354.0265–90 分析 相关系数概述 这一部分高度依赖相关系数，理解如何解读相关系数对于充分利用论文的这部分内容至关重要。相关系数的范围从−1.00到+1.00，用于评估两个变量之间的关系强度。任何大于零的相关系数意味着两个被检查的变量在同一方向移动（即一个值上升，另一个值也上升）。相反，负相关意味着一个值上升时，另一个值下降。相关系数离零越远，关系越强（例如，相关系数为−0.50比+0.40更强）。根据Cohen（1988）的观点，相关系数为0.10表示小效应，0.30表示中等效应，0.50表示大效应。为了提供一些有意义的参考点，以下是使用大多数人熟悉的变量计算出的一些相关系数： •体重和身高：0.42教育和收入：0.33 •面试评分和工作表现：0.40 玩电子游戏和成绩的时间：−0.25 相关系数结果 表2列出了WorkKeys分数与第一年大学GPA之间的相关性。表2中的所有相关性均为统计学显著 （statisticallysignificant）。p显著性小于0.01）。有趣的是，每项WorkKeys评估与GPA之间的相关性相同（0.40）。这些相关性表明WorkKeys分数与第一年大学GPA之间存在较强的正相关关系。 表2.工作✃有效性系数 工作✃评估GPA 应用数学图形素养 工作场所文档 0.40 0.40 0.40 NCRC*0.41 *处理为具有五个相等间隔水平的序数变量 为了从不同的角度展示表2中的结果，图1显示了每个NCRC级别平均GPA的平均值。图1展示了阶梯状模式，随着NCRC级别的增加，平均GPA也相应增加。值得注意的是，GPA的最大增幅出现在青铜级和银级NCRC之间。 图1.按NCRC级别划分✁第一年平均GPA 3.52 3.63 3.29 2.98 2.81 年度GPA第一- 4.00 3.50 3.00 2.50 2.00 Non-青铜限定符 银色铂金 差异有效性概述 差异效度发生在测试分数与结果之间✁关系因子群而异时，这可能表明分数✁解释应根据不同子群而有所不同。差异效度通过回归分析来检验，其中测试分数与子群之间✁交互作用被测试以确定最佳拟合回归线是否因子群而异。根据教育和心理测试标准(2014,p.70)，“在存在可信✁有效性差异证据✁情况下，开发者应当向测试用户提供清晰✁指导，说明在哪些情况下以及是否可以从这些子群体中个体✁成绩分数得出预期用途✁有效解释。”基于这一标准，在根据性别和种族/Ethnicity预测第一年GPA时，有必要测试WorkKeys评估是否存在有效性差异。此前，WorkKeys✁有效性差异尚未得到实证检验。 差异有效性结果 Thefirstdifferentialvalidityanalysiswasfocusedongender.TheregressiontestusinggenderproducedasignificantinteractionbetweenNCRClevelandgender(β=-0.25,p<.01)。交互作用✁方向有利于男性而非女性。因此，NCRC水平高估了男性✁GPA水平（相对于女性）。该分析✁结果绘制在图2中，显示了女性蓝色线条比男性橙色线条具有更强✁斜率，从而在单独 ✁回归方程中产生了截距差异。简单来说，相对于男性，女性✁表现优于预测✁GPA水平。随着女性在高等教育中✁比例持续高于男性，这种小效应可能有助于缩小这一差距。这是一个在ACT研究中常见✁发现，其中一个原因可能是女性往往具有更高✁心理社会因素（Ndum等，2015）。 图2.性别差异有效性分析 3.92 3.64 3.52 3.36 3.33 3.14 2.80 2.77 3.08 2.95 4.00 3.50 预测GPA 3.00 2.50 2.00 非Qual。青铜银色Gold铂金 FemaleMale 基于种族/Ethnicity✁差异，进行了两项有效性分析。首先，一项将黑人/非裔美国考生与白人考生进行比较✁分析未产生统计学显著✁交互作用（β=-0.08，p=n.s.).第二，将西班牙裔/拉丁裔考生与白人考生进行比较✁分析也没有产生统计上显著✁交互作用（β=-0.07，p=n.s这些分析表明，对于黑人/非洲裔美国考生和西班牙裔/拉丁裔考生而言，NCRC水平与第一年GPA 之间✁关系并不因种族/Ethnicity✁不同而变化。 Summary 总体而言，在阿肯色州964名学生✁样本中，WorkKeys与第一学年✁GPA之间表现出强烈正相关关系。高分✁WorkKeys测试学生也更有可能拥有较高✁GPA。此外，差异效度分析表明，WorkKeys高估了女性✁GPA，并且在黑人/非洲裔美国人和西班牙裔/拉丁美洲裔考生（与白人考生相比）中没有显示出显著差异。因此，基于这些数据，WorkKeys预测第一学年✁GPA，并且在公平性方面表现良好。 如同所有研究一样，本研究也存在局限性，为未来✁研究开启了新✁方向。首先，未来✁研究应考虑亚裔、美洲原住民和太平洋岛民学生✁差异效度（前提是每个子群体可以收集到足够大 ✁样本量）。同样地，如果可能✁话，黑人/非洲裔美国人和西班牙裔/拉丁美洲裔群体✁结果应在另一个更大✁样本中进行重复验证。高统计功效对于在回归分析中找到显著✁交互作用效应至关重要。此外，英语学习者、有特殊需要✁学生以及首次上大学✁学生也应该被纳入测试。其次，本研究✁结果应该通过使用工作绩效评级作为主要标准来进行复制和扩展。尽管WorkKeys是基于工作场所情境设计✁，但它测量✁一些核心学术技能也应与大学成功相关联。 第一年GPA在当前研究中被采用，因为易于收集大量样本。收集足够大✁标准化工作绩效评价样本存在许多挑战，包括应用心理学中经常遇到✁标准问题（Austin&Villanova,1992）。标准问题✁核心在于工作绩效难以衡量，因为它是一个多维度✁构念，而评分中✁偏见也很常见。使用工作绩效评价对本研究进行重复研究将提供额外证据，证明WorkKeys分数可以预测不同组应试者在工作场所取得相同成功机会✁可能性。 参考文献 ACT.(2014).ACT国家职业准备证书™.检索自 http://forms.act.org/certificate/pdf/NCRC-InformationFlyer.pdf 美国教育研究协会、美国心理协会及教育测量国家委员会（编），2014年教育和心理测试标准。Austin,J.T.,&Villanova,P.(1992).Thecriteriaproblem:1917-1992.应用心理学杂志，77（6)，836-874。科恩，J.(1988)。行为科学✁统计功效分析（第二版)。Routledge。Ndum，E.A.，Allen，J.，Way，J.D.，和Casillas，A.(2015)。心理社会因素对大学一年级英语和数学成绩性别差异✁影响。ACT. 关于行为 ACT是一个以使命为导向✁非营利组织，致力于帮助人们实现教育和职业成功。基于超过60年✁研究，ACT成为了职业教育准备解决方案可信赖✁领导者。每年 ，ACT为美国及全球✁数百万学生、求职者、学校、政府机构和雇主提供学习资源、评估、研究和证书，旨在帮助他们在从小学阶段到职业生涯✁各个阶段取得成功。 有关更多信息，请访问act.org