ACT 对马赛克变化的实证支持：社会情感学习评估个人学生报告

ACT 研究与政策 |技术简介 | 2020 年 12 月对改变的经验支持Mosaic by ACT：社会情绪学习评估个人学生报告Kate E. Walton 博士、Dana Murano 博士和 Jeremy Burrus 博士当前研究概述倾听和实施用户反馈是产品开发的重要组成部分；然而，这种反馈不能盲目地遵循，而必须结合经验数据来考虑。我们收到了教师和管理人员对来自 ACT® 的 MosaicTM 评估组件的个人学生报告的先前版本的反馈：社会情绪学习（以前称为 ACT® Tessera®）。根据这些反馈，我们从学生那里收集了更多数据，以确定教师和管理人员的担忧在多大程度上是有道理的，并指导我们为未来的报告编辑做出决策。总体而言，我们发现支持使用带有评级的报告而不是按技能等级排序的报告，并且我们发现支持带有描述性标签的评级方案。这些发现为评估学生报告的产品更改提供了依据。背景在之前用于评估的个人学生报告中，学生在五项社交和情感技能（SE 技能）中的每一项都获得了 1-4 星评级（1 是可能的最低分数），其示例如图1.ACT, Inc. 2020© ACT, Inc. 本作品采用知识共享署名-非商业 4.0 国际许可协议进行许可。https://creativecommons.org/licenses/by-nc/4.0/R1864ACT.org/research ACT 研究与政策 |技术简介 | 2020 年 12 月2图1。使用星级评定方案获得团队合作技能 1 级分数的示例一些教师和管理人员对这种方法表示担忧。提出的一个担忧是这种交流评估分数的方式可能对学生的感受和动机水平产生影响。例如，获得所有低分的学生可能对自己感觉不好和/或感到气馁。或者，获得所有高分的学生可能对继续技能发展没有动力。因此，我们考虑了替代报告方法，并寻求最终用户学生的反馈。我们评估的一种替代方案是具有描述性术语的不同方案（即电量计），其示例如图2. 请注意，四个可能级别中的最低级别被描述为发展.两颗、三颗和四颗星被替换为电量计中的同等水平，这些水平被描述为接近，展示， 和掌握， 分别。描述应该为所有学生提供鼓励；例如，发展不一定有负面影响。另请注意，一个人的仪表永远不会完全空或满，这表明总有发展空间。图 2。使用电量计评级方案获得团队合作技能 1 级分数的示例除了比较这两种评分类型的方案外，我们还评估了评分的效果和学生对技能的偏好与技能排名。图 3 中描述的排名方案将消除学生获得所有低分的风险。在图 3 的示例中，与其他四项技能相比，学生的团队合作得分最低。所有五项技能均按最强（第 1）到最弱（第 5）的顺序呈现。 ACT 研究与政策 |技术简介 | 2020 年 12 月3图 3。学生团队合作水平与排名方案的示例研究问题在当前的研究中，我们具体解决了以下研究问题：1. 对学生表现的反馈（即消极、混合、积极）是否会影响学生的自豪感和发展动力？• 这种效果是否取决于报告是否由星星和电量计组成？2. 报告的类型（即所有技能报告的星级分数与所有技能报告的气量表分数与技能的排名顺序）是否会影响学生的自豪感和发展动力？3. 学生发现哪种类型的报告（即所有技能报告的星级分数与所有技能报告的气量表分数与技能的等级排序）最能提供信息和/或更喜欢？ ACT 研究与政策 |技术简介 | 2020 年 12 月4方法参与者是在 2019 年 10 月全国考试日期参加 ACT 的学生。参加 ACT 后，他们被随机选择接受完成调查的邀请。他们被随机分配到两组中的一组。两组都收到了如上所述的样本报告，并被要求想象这些报告包含他们自己对五种 SE 技能评估的分数。第 1 组参与者，我们与他们一起解决了第一个研究问题，被随机分配接受星级评分（n = 240）或气量计评分（n = 214；受试者间因素）的报告。所有参与者都收到了带有三个不同级别反馈的报告——所有技能的最差分数，技能的混合分数，所有技能的最佳分数（学科内因素）。在查看“他们的”报告后，他们对评估有自豪感的可能性（三个项目；例如，感觉好像你有很多值得骄傲）和感到有动力的李克特式五点项目做出了回应用于 SE 技能发展（六个项目；例如，感到有动力尝试提高您的社交和情感技能）。两个量表的内部一致性可靠性估计达到 0.90。与我们一起解决第二个和第三个研究问题的第 2 组完成了与第 1 组相同的量表。内部一致性可靠性估计自豪感和发展动力分别为 0.75 和 0.84。所有参与者 (N = 273) 都收到了三种不同的报告类型（即，所有技能报告的星级评分与所有技能报告的电量计分数与技能的排名顺序）。反馈水平参差不齐（即，并非全是负面或正面），并且每种技能的分数保持不变，导致每种报告类型的评分最高的技能相同。此外，这些参与者被问到三种报告类型中，哪一种最容易理解，哪种信息最丰富，以及他们更喜欢哪一种。结果反馈性质和报告类型对学生的影响自豪感和发展动力进行了重复测量 MANOVA 以测试反馈水平和报告方案（星形与电量计）的主要影响以及两者之间的相互作用。恒星与电量计的主效应没有显着差异（Wilk 的 Λ = 1.00，F(2, 451) = .04，p = .96）。得分水平存在显着的主效应（Wilk's Λ = .70, F(4, 449) = 48.06, p < .01），并且存在显着的交互作用（Wilk's Λ = .97, F(4, 449 ) = 3.71，p < .01)。受试者内部的主要影响和相互作用如下所述。自豪感：自豪感的结果如图 4 所示。三个反馈水平的自豪感显着不同（所有负面 M = 3.11；混合 M = 3.75；所有正面 M = 4.02；ηp² = .25，这是一个很大的影响）。请注意，分数为3 表示倾向于用“可能或可能不会”做出回应，4 分表示倾向于用“可能”来回应。例如，获得所有正面评价的学生表示他们可能认识到自己的长处，而获得所有负面评价的学生表示他们可能会或可能不会认识到自己的长处。 ACT 研究与政策 |技术简介 | 2020 年 12 月5报告类型和反馈水平之间的交互作用具有统计学意义，但效应量较小（ηp² = .01)。分数水平的影响在星星条件下比在气量计条件下更大。图 4。不同条件下自豪感的平均分发展动力：发展动机的结果如图 5 所示。SE 技能发展的动机在三个反馈水平上存在显着差异（所有负面 M = 3.72；混合 M = 3.83；所有正面 M = 3.59；ηp².04，这是一个中小效果）。反馈不一的学生最有可能感到有动力提高他们的 SE 技能。报告类型和反馈水平之间的交互作用具有统计学意义，但效应量较小（ηp² = .01)。在星形条件下，得分水平的影响比在电量计条件下更大。当收到所有负分时，气体条件下的动机更强，但混合得分时，星星条件下的动机更高。图 5。不同条件下发展动机的平均分数 ACT 研究与政策 |技术简介 | 2020 年 12 月6报告类型对学生自豪感的影响发展动力进行了重复测量 MANOVA 以测试报告方案的主要影响（星星与电量计与等级顺序）。该影响没有统计学意义（Wilk 的 Λ = .97，F(4, 269) = 2.14，p = .08）。学生对报告类型的主观偏好一般来说，学生发现排名报告最难理解，他们他们更喜欢电量计，他们发现它提供的信息最多（见图 6）。图 6。学生对各种报告类型的印象结论在第 1 组中，评分报告的类型对学生的感受没有影响，但反馈的性质却有影响。分数越高，学生的自豪感就越强，反馈不一的学生觉得他们的 SE 技能发展是最大的动力。显然，培养所有学生的积极情绪和发展动力将是有利的，我们试图确定报告是否可以通过以相对方式对技能进行排序而不是提供对技能的绝对评分来实现这一点。在第 2 组中，报告的类型对学生的感受没有影响。然而，报告的类型确实在学生的主观体验方面产生了差异。具体来说，他们发现排名报告最难理解，并且发现带有描述性标签的电量计提供的信息最多，因此最受青睐。因此，我们得出结论，电量计报告方案是我们评估的三个方案中的最佳选择。根据我们收到的一些重要用户反馈，我们采用了系统的、经验性的方法来评估当前和替代报告策略。本研究代表了在进行与评估相关的修订以创建更加用户友好和可操作的体验时既响应（满足客户需求）又负责（做出数据知情决策）的示例。最新发布的评估版本使用了我们研究支持的报告方案，据学校人员称，该报告方案受到了学生的好评。 凯特·E·沃尔顿博士Kate Walton 是 ACT 社会、情感和学术学习中心的首席研究科学家。在 2017 年加入 ACT 之前，她是圣约翰大学的心理学副教授。她对社交和情感技能的评估和发展很感兴趣。达纳穆拉诺博士Dana Murano 是 ACT 社会、情感和学术学习中心的研究科学家。她的研究重点是学生社交和情感技能的发展和评估。杰里米·布鲁斯博士Jeremy Burrus 是 ACT 社会、情感和学术学习中心 (SEAL) 的高级主管。在来 ACT 之前，他是 ProExam 创新评估中心的首席研究科学家，在此之前，他是 Educational Testing Service 的研究科学家。 2006年毕业于伊利诺伊大学厄巴纳-香槟分校，获得社会心理学博士学位，2006-2008年在纽约市哥伦比亚商学院从事博士后研究。致谢我们感谢 Alex Casillas 和 Jill McVey 对这项工作的贡献。