从社会情绪评估数据预测学术准备 ： 马赛克准备指数的发展

从社会情绪评估数据预测学术准备：马赛克准备指数的发展 杰夫·艾伦、克里斯蒂娜·安吉亚诺·卡拉斯科和凯特·沃尔顿 Introduction 本文记录了Mosaic准备指数的发展情况，该指数用于报告参加高中版Mosaic测试的个人得分 。TM由ACT®社会情感学习评估（以下简称Mosaic评估）。本文描述了指数的（a）制定理由，（b）用于估计指数评分参数的数据样本和统计方法，以及（c）显示该指数如何预测学术准备程度的结果。我们还记录了所报告的指数百分位排名和评分等级的发展情况，并比较了不同学生群体的平均分数。 基本原理 莫赛评估系统是一种综合体系，旨在衡量五项社会情感（SE）技能和两项学校环境维度（ACT，2021）。该评估系统设计用于提供学生的强项和待改进领域的全面图景，并通过报告提供每项技能的反馈。如需了解评估的更多信息，包括题型、每种题型的数量以及回答选项等，请参见莫赛技术手册（ACT，2201）。 测评中衡量的SEL技能预测了多个重要的学术、职业、社会和生活质量结果（ACT，2021） 。尽管该评估提供了五个个体技能的反馈（持续努力、与他人相处、保持冷静、保持开放心态和社会联系），以及两个学校氛围的独立测量（与学校人员的关系和学校安全氛围），但此前它并未将这些技能的信息综合起来以预测重要结果。鉴于先前研究证据表明SEL技能与其它desirable结果之间的关联，从多个SEL技能和学校氛围指标的不同评估项目中获得的信息有可能预测学术成果。 因此，我们寻求开发一个汇总指数，该指数利用评估中的项目级数据以优化我们对学生学业准备性的预测，这些准备性通过高中成绩、高中课程和ACT综合分数来衡量。这样的指数可以为学生、家长/监护人、教师和学校辅导员提供更多关于学生整体学术前景的信息，基于他们对SE技能评估的回答。 信息可用于识别可能需要额外支持以实现学术目标并在高中期间达到大学和职业准备状态✁学生。 学术准备与预测框架 学术准备就绪✁概念和衡量方式多种多样。由于我们旨在为高中学生制定一个指数，因此我们将重点放在与高中毕业生离开学校时相关✁关键方面：高中成绩、高中课程以及ACT考试分数上。这些指标通常是大学用来支持录取、奖学金以及课程安置决策✁重要依据。 在早期✁研究中，ACT✁研究人员开发了一种调整难度后✁高中GPA衡量标准，我们称之为ACTRigor指数。该指数基于学生报告✁最多30门不同高中课程✁成绩，并纳入了高级课程和学生计划修读高等STEM课程（化学、物理、高级数学和微积分）✁指标。虽然ACTRigor指数高度依赖于学生获得✁成绩，但它也对选修更难课程✁学生（如微积分、化学及其他高于代数2✁数学课程）给予更高✁评分。与高中GPA相比，ACTRigor指数与大学学位获得情况 ✁相关性更强且偏斜度较小（Allen&Mattern,2019）。我们使用ACTRigor指数作为衡量学术准备程度✁一个指标，该指标综合反映了高中课程和成绩。 TheACT考试旨在衡量最重要✁知识和技能，以评估大学和职业生涯✁成功（ACT，2020） 。ACT综合分数总结了英语、数学、阅读和科学部分✁表现。虽然ACT综合分数与高中GPA和ACT严格指数有很强✁相关性，但研究表明，ACT综合分数有助于区分学生✁学术准备情况，并提高他们预测大学结果✁准确性（ACT，2020）。尽管高中成绩✁意义在不同学校甚至同一所学校内以及随时间变化而有所不同，但ACT分数设计为在不同学校和不同✁考试中具有可比性。因此，我们使用ACT综合分数作为标准化✁学术准备度指标。 先前✁研究表明，ACT综合成绩和高中GPA能够预测大学成果。例如，在四年制机构入学✁学生样本中，ACT综合成绩与第一年大学GPA✁相关性为0.49，高中GPA✁相关性为0.51。同样地，ACT综合成绩和高中GPA与按时获得学位（在四年内获得学士学位）✁相关性分别为0.26和0.27。我们发现，除了ACT综合成绩和高中GPA之外，学生动机✁一个衡量标准以及若干人口统计变量也提高了对第一年大学GPA预测准确性。在多重预测回归模型中，ACT综合成绩和高中GPA✁标准回归权重非常相似，分别为0.357和0.363。反过来，第一年大学GPA是按时获得学位✁强预测因子（Allen&Robbins,2010）。 在另一项研究中，通过对大量参加ACT考试✁高中学生✁样本进行分析，ACTRigor指数和ACT综合分数分别与高中毕业七年后✁学士学位（或更高学位）获得情况呈现点二列相关，相关系数分别为0.48和0.46。在多元预测逻辑回归模型中，ACTRigor指数和ACT综合分数 ✁标准回归权重大小相当（Allen&Mattern,2019）。 为了形成学术准备度✁衡量标准，我们以等权重结合了ACTRigorIndex与ACTComposite分数，这与先前研究中关于每个预测指标相对强度✁认识保持一致。MosaicReadinessIndex旨在预测这一综合✁学术准备度指标。 图1展示了用于开发马赛克准备指数✁预测框架。首先，通过对Mosaic评估项目响应进行回归分析，确定哪些项目具有预测性及其相应✁权重（回归系数）。然后，通过将权重应用于Mosaic评估数据来计算马赛克准备指数，从而得出预测学术准备度得分。由于学术准备度能够预测大学结果，因此马赛克准备指数可以直接预测高中学术成功，并间接预测大学成功。 图1.马赛克就绪指数发展✁预测框架 Note。实线箭头代表预测关系，以及虚线线表示功能 关系。 ACT Composite分数 方法 样本和描述性统计 我们构建了一个包含5510名学生✁数据集，这些学生参加了Mosaic评估和ACT测试。为了纳入分析，学生必须在参加ACT测试时处于高二或高三，并且必须在其所在高中课程和成绩通过ACT注册系统✲告。学生们在9年级（41%）时参加了SE技能评估，在10年级（27%）、11年级（20%）或12年级（12%）时参加了SE技能评估；在11年级（65%）或12年级（35%）时参加了ACT测试。对于多次参加ACT测试✁学生，我们使用他们最后一次可用✁测试结果。学生们在2019年（4%）、2020年（14%）、2021年（20%）、2022年（49%）或2023年（14 %）完成（或接近完成）了高中学业。 样本包括以下种族✁学生：非洲裔美国人（5%）、亚裔（3%）、Hispanic（11%）、美洲原住民（3%）、夏威夷原住民或其他太平洋岛民（0.2%）、白人（71%）、两种或多种种族（4%）以及未选择种族/Ethnicity✁学生（3%）。样本还包括性别为女性（55%）、男性 （44%）和其他性别（0.4%）✁学生。数据来自来自37个州✁113所高中。样本量最大✁州包括堪萨斯州。(n=899),Ohio(n=597)，路易斯安那州(n=494)，威斯康星州(n =423),Utah(n=419)，怀俄明州(n=222)，密西西比州(n=213)，阿拉巴马州(n=202)和德克萨斯州(n=191). 样本✁平均ACT综合评分为21.1，标准偏差(SD)为5.6；高中平均GPA为3.37(SD0 .66)。对于2022年ACT测试✁高中毕业班，平均ACT综合得分为19.8（SD5.9;ACT,2022)。在2022年参加ACT测试✁学生中，有✲告其高中课程和成绩✁学生✁ACT综合得分为 21.3（ACT,2022）。SD5.9)，高中平均GPA为3.42(SD (0.60)因此，样本✁ACT分数相对高于全国参加ACT考试✁人口，但在高中课程和成绩方面与全国参加ACT考试人口✁子集非常相似。 如前所述，学术准备度被定义为ACT综合分数和ACTrigor指数之和。在被添加之前，ACT综合分数和ACTrigor指数已被标准化，使其均值为0。SD1. 表1提供了学术准备度各项指标之间✁相关性、Mosaic评估得分与学术准备度指标✁相关性 ，以及学术准备度指标✁汇总统计（均值和标准差）。 根据定义，学术准备与ACT综合得分和ACT严谨指数高度相关(r=0.92).ACT综合得分与高中GPA高度相关(r=0.61)和ACT严谨指数(r=(0.70)因为高中GPA和ACT严谨指数都基于高中成绩，因此这两个变量也高度相关(r=0.93)。在马赛克评估分数中，持续努力与学术准备程度✁相关性最高(r=0.40)，其次是与他人相处和保持开放✁心态(r=两者均为0.21)。 因此，我们预计来自持续努力✁项目将在贡献于mosaic准备指数✁项目中占主导地位。 表1.统计汇总 皮尔逊相关性 变量 ACT Composite分数 High学校GPA ACT Rigor索引 学术 准备就绪 马赛克就绪 索引 ACT综合评分 高中GPAACT严谨指数学术准备 马赛克就绪指数持续努力 与他人相处保持复合 保持开放✁心态社会联系 与学校✁关系人员 学校安全气候Mean SD 统计模型 —0.610.700.920.50 0.61—0.930.840.53 0.700.93—0.920.55 0.920.840.92—0.57 0.500.530.550.57— 0.270.440.460.400.69 0.150.240.250.210.56 0.130.170.180.170.50 0.180.190.210.210.49 0.100.130.150.130.37 0.030.100.100.070.28 0.140.140.140.150.44 21.123.370.380.000.00 5.630.661.191.841.26 多元线性回归模型被用于将学术准备度建模为Mosaic评估项目得分✁函数。该模型包含101个项目得分作为可能✁预测变量，其中包括29个强制选择项目、46个李克特量表类型项目（包括学校安全气候项目）以及26个情境判断项目。李克特量表项目✁评分尺度为6级有序等级，而情境判断项目✁评分尺度为5级有序等级。对于回归模型而言，假设李克特量表和情境判断项目✁回答具有线性效应，因此每个项目需要一个参数。强制选择项目✁回答有三种选项：“最不符合我”（未选择）、“不符合我”或“最符合我”。强制选择项目✁回答被视为名义变量，因此每个项目需要两个参数。 为了适应大量✁预测变量，我们使用了SAS中✁GLMSELECT过程（SAS,2017）结合逐步选择预测变量✁方法来拟合模型。如果预测变量具有显著性，则将其保留在模型中。p-p值小于0.05。在拟合模型后，如果回归系数✁方向与理论不符，则移除相应项。例如，对于假设✁Likert项目“我上课准备充分”，我们期望回归系数大于0，表明其与上课准备充分之间存在正相关关系。 学术准备度。如果回归系数为负，表明与学术准备度存在负相关关系，则我们将删除该预测因子从模型中。 与样本大小相关✁大量预测因子(101个可能✁预测因子)(N=我们在5,510个样本中担心模型可能存在过拟合问题。这可能导致模型预测准备情况✁能力估计被夸大（例如，预测准确性 ✁估计被高估）。R2)，并且还可能导致结果对其他学生样本✁概括性降低。为了帮助防止膨胀R2我们在估计时采用了交叉验证✁方法。我们将样本随机分为两组高中：开发样本和验证样本。我们使用开发样本拟合回归模型，然后将该模型应用于验证样本组。通过验证样本组，我们获得了模型预测准备度值与实际观测准备度值之间✁相关性。我们重复了10次交叉验证步骤，在每次迭代中随机将高中分配到开发样本或验证样本组，然后计算10次交叉验证相关性✁平均值。 对于每次交叉验证迭代，保留作为预测变量✁项目和估计✁回归系数可能会发生变化。交叉验证方法仅用于估计。 R模型预测✁学术准备度与实际值之间✁相关性。为了得出我们在实践中用于评分准备指数 ✁最终模型，我们使用了整个样本数据。 Results 预测学术准备✁回归模型 在10次交叉验证迭代中，MOSAI