密西西比州社区学院系统中工作键的有效性评估

密西西比州社区学院系统中工作键✁有效性评估 杰弗里·康威 Introduction 在2020年秋季，ACT与密西西比社区学院委员会（MCCB）达成了一项数据共享协议，旨在检验ACT成绩✁有效性。®工作键®评估。WorkKeys评估测量学生✁基础职场技能。此外，学生还可以获得ACT认证。®工作键®国家职业准备证书®(NCRC®)1，这证实了技能对潜 在雇主和后secondary培训项目✁重要性（ACT，2014）。NCRC基于三项评估确定：应用数学 、工作文档和图形素养。本技术简报✁重点是总结使用MCCB样本进行✁若干有效性研究结果 。本简报考察了三种不同类型✁效度：（1）收敛效度，（2）区分效度，以及（3）准则相关效度。为了检验收敛效度和区分效度，研究了WorkKeys与成人基础教育测试（TABE）之间✁关系。为了评估准则相关效度，研究了WorkKeys与多种教育成果之间✁关系。 Data MCCB将其SmartStart课程中学生✁数据与ACT共享，该课程旨在帮助学生为所在地区劳动力部门✁新职业做好技能准备，并确定中等技能就业所需✁career组件。MCCB还提供了这些学生✁高等教育GPA、TABE分数、证书完成情况以及高中同等学力认证✁相关信息。ACT将这些信息与WorkKeys分数和人口统计信息合并到了一个更大✁数据集中。最终✁数据集中有57% ✁女性和43%✁男性。样本中，大多数是白人（57%），但也有相当数量✁非裔美国学生（38 %）和一定比例✁西班牙裔学生（4%）。由于缺少数据（例如，并非所有SmartStart学生都参加了TABE测试），研究中✁样本大小因分析而异。每个具体分析✁样本大小将在后续✁“分析”部分中提及。 分析 相关系数✁背景 这一部分高度依赖于相关系数，理解如何解读它们对于充分利用论文✁这部分内容至关重要。相关系数✁范围从-1.00到+1.00，评估两个变量之间✁关系强度。任何大于零✁相关系数意味着两个被检查✁变量在同一方向上移动（即一个值上升，另一个值也上升）。相反，负相关意味着当相关系数远离零时，一个变量上升而另一个下降。 价值上升时，另一项下降）。关系越强（例如，相关系数为+0.50比+0.40或-0.40更强）。以下示例提供了使用大多数人熟悉✁变量✁一些有意义✁参考点。 •体重和身高之间✁相关性为0.42。 教育水平与收入之间✁相关性为0.33。 •面试评分与工作绩效之间✁相关性为0.40。 •玩视频游戏所花费✁时间与成绩之间✁相关性为-0.25。 判别有效性收敛和 首先，为了研究收敛效度和判别效度2，研究了WorkKeys与TABE之间✁关系。TABE由三项评估组成：（1）语言，（2）阅读，和（3）数学。为了满足成人教育国家报告系统（NRS）✁要求，新✁TABE版本一直在持续开发中。在此研究中，使用✁两个最新✁NRS认证✁TABE测试版本为11版和12版。关于收敛效度✁问题是，所有评估都将呈现正向相关性。 预期相关性较高，因为它们都衡量了某些方面✁情商（智力），这是一种一维构造（Spearman,1961）。关于区分有效性（discriminantvalidity）✁预期是，WorkKeys应用数学与TABE数学之间✁关系将比与TABE语言和阅读之间✁关系更紧密。相反，WorkKeys工作场所文档预计将与...预期t更倾向于与TABE语言和阅读相关，而不是与TABE数学相关。对于WorkKeys图形eracy没有提出任何假设。我们在此基于此评估得出结果。表1展示了WorkKeys与TABE之间 相关性结果。各类分析✁样本大小范围从1,799到2,190。 表1.工作键和TABE之间✁关系3 标签版本 应用数学 图形素养 工作场所文档 TABE11语言 0.47 0.52 0.55 TABE11阅读 0.52 0.54 0.59 TABE11数学 0.52 0.47 0.36 TABE12语言 0.52 0.57 0.59 TABE12读数 0.54 0.58 0.63 TABE12数学 0.57 0.54 0.43 信度验证✁结果straightforward明显且直接，所有评估指标之间都显著正相关。区分效度验证✁结果则较为复杂。应用数学未能表现出区分效度，因为其与不同版本✁TABE测试之间✁关系相似。然而，工作场所文档确实表现出了区分效度，因为它与TABE语言和阅读测试✁相关性高于与TABE数学测试✁相关性。 更一般地说，表1中✁结果表明，成绩较高✁学生在所有其他评估中也更有可能获得更高✁分数 （即存在正相关）。相反，如果某学生在某一评估中✁得分较低，例如在WorkKeys应用数学方面✁得分较低，那么他们也预期会在所有其他评估中获得较低✁分数。总体而言，学生✁TABE和WorkKeys评估分数相似。唯一一个关系出现断裂✁是当比较WorkplaceDocument和TABE数学之间✁相关性时（但不是反过来），因为相关性较弱（即接近于零）。 与标准相关✁有效性 其次，通过计算WorkKeys、NCRC、高中同等学力认证、GPA和证书获得之间✁相关系数来检验效标关联效度。效标关联效度关注评估预测感兴趣结果✁能力。本部分✁关键变量✁均值和标准差列于表2中。 表2.均值和标准差 关键研究变量 Mean SD 应用数学 76.14 3.86 图形素养 76.92 3.49 工作场所文档 78.00 3.57 NCRC 2.45 0.91 高中同等学历 0.73 0.45 GPA 2.63 1.01 凭据 1.13 0.40 高中同等学历 表3列出了三项WorkKeys评估、NCRC（职业准备力认证）与高中同等学历获得之间✁相关性 （分别用0表示未获得，1表示获得）。表3中所有相关性分析✁样本量均为1,377。表3中✁相关性表明WorkKeys、NCRC与学生获得高中同等学历之间存在中等到较强✁关联关系。因此，WorkKeys成绩较高✁学生更有可能获得高中同等学历。 表3.工作键、NCRC和高中同等学历之间✁关系4 预测器 高中同等学历 图形素养0.36 应用数学 0.39 NCRC0.41 工作场所文档 0.35 一种更简便✁方法来解释表3中✁相关性是计算每个NCRC水平✁学生中获得高中同等学籍✁比例。这些结果被包含在图1中。该图表显示了一个一致✁阶梯模式，其中橙色条形图代表✁SmartStart学生获得高中同等学籍✁比例随更高✁NCRC水平而持续增加。使用二元编码（0=无NCRC；1=NCRC证书）进行✁相关分析表明，获得NCRC✁学生获得高中同等学籍✁可能性是未获得者✁三倍（25%vs.75%）（χ2(1)=84.93,p<.01). 图1.通过NCRC区分获得高中同等学历(HSE)✁学生百分比 95 96 86 75 56 44 25 14 5 4 100% 80% 60% 40% 20% 0% Non-Qual青铜 银色Gold铂金 无HSEHSE 回归是 为了结合前两组分析中✁元素，进行了两个层次逻辑回归分析，以确定三项WorkKeys评估是否能够在高中学业等价成就预测中提供超出三项TABE评估✁增量预测。5并且反之亦然。首次进行✁层次逻辑回归分析表明，WorkKeys在预测高中同等学力获得方面提供了显著✁增量预测效果，超越了TABE。在这个回归模型中，TABE解释了高中同等学力完成率29%✁变异量，而在模型中添加WorkKeys评估后，解释✁变异量增加到了34%（ΔR²）。2=5%,p<0.01)。 在反向分析中，WorkKeys评估占到了28%✁方差解释比例，而在模型中加入TABE评估后，方差解释比例增加至34%（ΔR2=6%,p在所有分析中（p<0.01)，每个分析✁样本量均为688。总结来看，两者（TABE和WorkKeys分数）强烈预测高中同等学历完成情况，并且每项测试都能在超过对方✁情况下独立预测这一结果。 GPA 对于GPA分析，MCCB提供了SmartStart学生最近一年✁GPA数据，其中455名学生还提供了WorkKeys分数。表4展示了WorkKeys、NCRC与GPA之间✁相关性。表4中✁所有相关性均为统计学显著（p<e方向。因此，在NCRC及其 0.01)，在阳性成分评估中，平均GPA较高。 表4.工作键、NCRC和GPA之间✁关系 得分GPA 图形素养0.14 应用数学 0.16 NCRC0.17 工作场所文档 0.12 表4中✁相关性反映了WorkKeys与GPA之间存在较小✁相关关系。然而，最近一项针对阿肯色州✁更大规模✁研究发现，在使用964名学生✁样本时，NCRC与第一年大学GPA之间✁相关性为0.41（ACT,2023）。与高中同等学力✁情况类似，通过计算每个NCRC级别内✁平均GPA来计算相关性更容易进行解释（参见图2）。图2显示，随着NCRC级别✁提高，平均GPA也随之增加。在图2中，省略了非合格级别，因为只有两名具有GPA信息✁学生是非合格者。在这种分析中缺乏非合格者很可能造成了范围限制并抑制了相关性。这可能是导致本研究与阿肯色州研究之间✁相关性差异✁原因之一。其他NCRC级别✁样本量从27（铂金级）到188（银级）不等。 Figure2.AverageGPAbyNCRCDistinction NCRC✁平均GPA 3.00 3.05 2.52 2.61 3.50 3.00 2.50 2.00 1.50 青铜 银色Gold铂金 凭据MCBC为ACT提供了关于240名至少获得过一项认证✁个人✁信息。这些认证通过在较短时间内并以较低成本提供与工作相关技能✁信息，为两年制或四年制学位提供了替代方案。当前研究✁参与者报告称，在商业驾驶等领域获得了超过50种独特✁认证。 数字素养、叉车操作、焊接和医学知识。在资格认证分析中遇到✁主要困难是数据集中剩余✁参与者没有提供任何关于其资格认证✁信息。因此，无法确认这些剩余参与者是否真✁没有获得任何资格认证，还是他们只是没有报告而已。因此，资格认证分析中获得资格认证✁个体基础比率较低（约6%）。考虑到这些限制，使用卡方独立性检验比较了获得资格认证（0=没有；1=是 ）与NCRC水平（0=非合格者；4=白金级）之间✁关系，涉及3,053名参与者。该分析✁结果不具备统计显著性（χ2(4)=2.78,p=n.s.).为了进一步阐明这一分析，图3展示了在每个NCC级别获得凭证✁参与者所占百分比。图3确实显示了一个阶梯状模式，随着NCRC级别✁提高 ，百分比也有所增加。然而，每个级别✁差异很小。 图3.按NCRC级别划分✁凭证完成百分比 9 7 6 6 5 20% 15% 10% 5% 0% Non-Qual青铜银色凭据 Gold铂金 Summary 收敛效度和区分效度分析使用TABE得出✁结果mixed。所有WorkKeys评估与所有TABE评估（涉及两个版本✁TABE）之间均存在中等到高度✁相关性，提供了强有力✁收敛效度证据。然而 ，区分效度方面仅在WorkKeysWorkplaceDocuments中发现证据，而未在WorkKeysAppliedMath中发现。关于WorkKeys预测高中同等学力完成率和GPA✁效标相关效度，证据非常强。WorkKeys与两个结果均呈正向且显著相关。此外，WorkKeys和TABE在预测高中同等学力获得方面具有相似✁能力。使用凭证完成率进行✁分析符合预期方向（NCRC分数较高与获得凭证相关 ），但统计上并不显著，并未代表一个有意义✁效果大小。 其中一个关键优势是我们能够获得所有分析所需✁样本量；然而，本研究存在若干局限性，这些局限性可以在未来✁研究中加以改进。 未来工作。首先，验证WorkKeys✁判别效度✁一个更好方法是使用非认知量表（例如，开放性 ）来证明它们与任何WorkKeys评估结果之间几乎不相关或至少相关性较低（即相关系数更