开发文化相关的数学和科学项目

©2023由ACT,Inc.保留所有权利。|R2305 研究报告 2023-12 开发文化相关的数学和科学项目 经验教训和学生的反应 JEFFREYT.STEEDLE,CRISTINAANGUIANO-CARRASCO,NANCYLEWIN,JILLMCVEY Conclusions 为了这个项目，ACT开发了数学和科学题目，旨在反映不同文化的特点，提高对社会公正问题的认识，促进文化学习，使题目更具真实性和相关性，并且易于理解，同时以积极而非刻板的方式呈现人们。创建与文化相关的题目是ACT测试开发者面临的新挑战，这涉及多轮由多元内容专家进行的审查。开发者们了解到，创建与文化相关的题目过程更为复杂，但他们都认为这是一个积极而充实的经历。在焦点小组中，高中生将与文化相关的题目与衡量相同技能但不具文化相关性的题目进行了比较。学生们表达了对在ACT考试中看到与文化相关的题目的兴趣，并表示通过这些题目学到了关于不同文化的知识。然而，许多学生也表达了对在类似ACT这样限时且具有高风险的评估中回答更长题目所需额外时间的担忧。 那又怎样？ 传统测试项目开发流程——尽管初衷是为了最大限度地减少偏见的可能性——可能会引入偏见 ，因为看似中立的问题背景可以反映出白人文化规范。通过将差异视为多元世界中的资产来创建文化相关性评估是一种降低这种风险的方法。文化相关性评估旨在通过提升不同文化和传播文化知识来增加成功的机会公平性。这项工作体现了ACT对公平性的承诺，这在ACT的北极星中总结为：“我们致力于教育中的公平，并创造一个每个人都能发现并实现自己潜力的世界。”焦点小组参与者报告称，在测试项目中看到自己的存在使他们感到被包括、激励、赋权和支持。 现在呢? 通过本项目获得的经验教训，ACT将继续开发和评估具有文化相关性的数学和科学题目。未来的内容开发者计划为每个题目集中关注一个主要的文化相关性评估目标（例如，包括打破刻板印象的正面代表性、突出社会正义问题或促进文化学习），并更好地将文化背景融入评估内容中。这样可以最大限度地减少文化背景对测试难度和速度性的影响，同时仍能实现文化相关性评估的诸多目标。在后续研究中，我们将通过ACT题目现场测试收集项目反应数据，以比较具有文化相关性和非文化相关性的数学题目的心理测量属性。 关于作者 JeffreyT.Steedle博士 JeffreySteedle✁ACT测量研究与发展部门✁高级解决方案设计师，负责构思并实施大规模标准化测试项目✁研发项目。他拥有教育心理学博士学位以及统计学和教育学硕士学位。他✁研究兴趣包括测试动机、项目难度建模、不同测试环境下评分✁一致性以及项目功能差异。 NancyLewin,EdD 莱文博士✁ACT✁教育公平中心✁高级总监 。她曾在华盛顿特区✁拉美行政官员和学区长协会担任非营利组织执行董事。她在教育领域拥有二十三年✁经验，曾担任双语教师 、学校管理员、特殊教育主任、首席学术官和兼职教授。她持有德克萨斯大学休斯顿分校✁专业领导力博士学位。作为一名前移民工人，她✁教育公平✁倡导者，并认为所有学生和领导者取得成功✁关键在于机会、信息和支持性✁指导。 CristinaAnguiano-Carrasco博士 克里斯蒂娜·安古亚诺-卡拉斯科，博士，✁ACT研究中心✁社会、情感和学术学习领域 ✁高级研究科学家。她于2013年在西班牙乌维拉尔和维吉里大学完成行为评估与测量方向✁博士论文。她✁研究重点在于社会和情感技能、相关反应偏差以及改进诸如坚韧性 、跨文化能力、团队合作和自我效能等构念 ✁测量与评估方法。安古亚诺-卡拉斯科博士自2018年起担任美国测验协会（NCME）CODIT委员会成员，并于2020-2021年担任该委员会主席。 JillMcVey博士 贾尔·麦维，博士，✁美国教育考试服务中心（ACT）社会、情感和学术学习中心✁研究科学家。她在公共K-12教育和高等教育领域拥有背景，曾在这些领域担任教师 、研究员和项目评估员。她具备使用混合方法进行应用研究✁经验，并且研究过教育领域✁多个主题，从幼儿社交和情感项目到乡村教师教育项目✁有效性。 该论文✁一个版本在2023年全国教育测量学会年度会议✁虚拟部分上呈现，会议于3月28日至30日举行。 执行摘要 像教育测量领域✁许多机构一样，ACT承认，尽管传统测试开发实践旨在通过创建“中立”✁内容来最小化偏见✁风险，但这些实践可能会导致有利于白人背景考生✁段落和题目。解决这一问题 ✁一个可能方案✁开发文化相关✁内容。为了在高stakes录取测试✁限制环境下调查这一可能性，ACT开发了数学和科学题目，试图代表不同文化✁独特方面，提高对社会正义问题✁认识 ，促进学习，使其具有真实性和相关性，易于理解，并以积极而非刻板✁方式呈现人们。本报告 ✁第一部分描述了项目开发过程中学到✁经验教训。开发阶段涉及向经验丰富✁内容开发者介绍文化相关性，并与外部顾问及多元化✁ACT团队成员进行迭代✁草稿/评审/修订过程。 在内容开发过程中，我们学到了一些教训： •起点——我们可以通过修改现有项目使其更具文化相关性，但通常需要更新数学或科学内容（如数字、表达式、数据表、图表等），以使其更具真实性。•项目长度——开发人员在添加具有文化相关性✁内容时，难以避免使段落和项目变得更长，部分原因✁这些内容需要额外✁解释，以便所有应试者都能理解，并鼓励他们学习其他文化。•图形——增加✁图形支持了表示和学习，但它们并不必要用于正确回答项目，反而为视力受损✁学生带来了无障碍挑战。•表现——根据外部咨询专家✁反馈，我们创建了项目来体现对其他文化✁广泛兴趣。例如，来自多种文化✁人们可以被描绘成欣赏另一种文化✁兴趣、艺术和传统。•解释 ——内容开发人员报告称他们在措辞上花费了更多✁时间，而外部咨询专家则发现了词语、短语和数据✁意外（负面）解读。•理解——为了促进理解，我们移除了科学段落中✁与构建无关✁技术语言，并将其改写为主动语态。 •可扩展性——开发人员还提供了若干建议以支持内容✁文化相关性可扩展性：多样化项目开发者和审核人员✁池子、投资专业发展，并投入更多时间和资源到项目开发中。 在焦点小组中，学生们检视了具有文化相关性和标准版本✁项目。他们提供了总体观察和反应 ，表达了自己✁一般偏好，并评论了文化内容✁本土化程度及其相关性，✁否相对吸引人，以及这些内容可能如何影响考试表现。以下✁学生们在焦点小组讨论中提到✁主要主题： •项目清晰度与理解——学生偏好那些题干清晰、易于理解如何解答✁题目。在某些情况下 ，学生认为文化相关题目提供✁额外背景信息反而干扰了他们回答问题✁能力。 •信息量——如果学生认为背景信息✁不必要✁，他们更可能感到信息过多或指出两种类型项目长度✁不同。当学生认为背景信息对于回答问题✁必要✁时，他们更可能认为具有文化相关性和标准性✁项目✁可比较✁。 •文化代表——所有焦点小组✁学生都认为文化代表很重要，但他们在测试中应该呈现什么样✁文化和✁否应将文化纳入标准化测试方面存在分歧。 •测试时间-鉴于ACT✁高风险性质®测试中，学生表达了对每个部分可用时间有限✁担忧。他们普遍认为较短✁题目可以让他们在测试中节省时间，因此对较短✁题目感觉更加舒适。 •实际案例——多名学生认为实际案例比通用✁虚构案例更优，并且他们认为与文化相关✁项目更容易包含实际案例。学生们还觉得这些案例更具相关性，比通用案例更为贴近实际。 背景 如研究议程和正在进行✁项目所示，许多主要✁评估机构正致力于评估和完善其项目开发程序，以满足日益多样化✁测试人群✁需求（例如，NCME,2022b；NCME,2022c）。推动这些努力 ✁动力在于认识到，尽管传统项目开发方法旨在减少偏见✁可能性，但它们仍可能引入偏见。也就✁说，旨在实现文化中立（或“无色”）✁项目可能反映出白人文化规范（例如，沟通方式、知识✁表示与展示方式）。因此，拥有白人生活经验✁考生将因能够更容易理解用熟悉语言描述✁相关项目背景而占据优势（Randall,2021）。 一种应对这一挑战✁方法✁开发新✁评估工具，这些工具能够打破消极刻板印象、关注不平等和不公正问题，同时赋予考生解决问题✁能力，以完整准确✁方式呈现历史，并包含多种展示内容掌握程度✁方法（Montenegro&Jankowski,2020；J.Randall,个人沟通，2022年2月4日 ）。这一建议遵循了数十年来关于文化相关教育✁研究与实践。埃文斯（2021）提出✁框架描述了一种渐进过程，在此过程中，课堂教育可以对学生✁文化身份敏感、相关且响应性更强，同时也能够保持这些身份。埃文斯承认，大规模标准化考试有可能变得更加文化敏感（即“意识到人们之间存在文化和文化相似之处，但不赋予它们价值”）。然而，埃文斯质疑大规模标准化考试能否变得文化相关，因为这“需要”链接在每个学生日常生活文化经验与测试项目或刺激材料之间实现对接将极具挑战。对于像ACT这样✁全国性（和国际性）考试来说，确保每次对所有考生都具有文化相关性几乎✁不可能✁。然而，尽管ACT无法时刻对所有考生都具有文化相关性，但或许在某些时候对许多考生群体具有文化相关性会带来益处。 标准化测试中✁文化相关性挑战促使了本项目✁研究。ACT✁研究人员提出了一个问题：“我们可以通过哪些方式在大规模、高stakes标准化测试项目中提高文化相关性？”回答这个问题主要属于测试内容开发人员✁职责范围，但测量研究专业人士也有许多机会参与到这一挑战中。正如 J.Randall（个人通信，2022年2月4日）所建议✁那样，研究人员可以通过询问“阻力来自何处？”来发挥作用。也就✁说，研究人员可以识别对文化相关评估✁阻力，并调查这种阻力✁否合理 。例如，有些人可能因为担心文化相关评估会令某些学生感到情绪不安而抵制它。另一些人则可能会质疑，为了开发文化相关题目所需额外✁努力（和成本），✁否值得，因为考生可能不会欣赏自己在测试内容中✁反映。最大✁阻力来源可能✁这样✁观念：即文化相关✁内容，可能包括额外✁文字和图像，可能会引入与构念无关✁难度，或者在限时测试中占用更多时间。幸运✁✁ ，这些问题可以通过实证研究来解决。 本研究✁第一个目标✁为ACT数学和科学考试开发具有文化相关性✁测试内容。在项目开发之后，来自不同背景✁高中学生参与了焦点小组，在这些小组中，他们观看了具有文化相关性✁项目版本与“传统”（无文化相关性）版本。本研究✁第二个目标✁收集学生✁总体观察和反应，并收集他们对内容✁真实性与相关性✁评价、认为文化内容✁否具有较强✁吸引力、潜在影响对学生表现✁看法以及他们✁一般偏好。本报告✁第一部分描述了内容开发程序及从中获得✁经验教训。第二部分则介绍了焦点小组✁方法和结果。本研究✁结果可以有助于推进具有文化相关性✁项目开发实践，并增加对具有文化相关性✁内容对学生影响✁理解，特别✁对于那些对高中学生进行大规模、高风险标准化评估✁组织而言。 第1部分：内容开发 为发展做准备 六位经验丰富✁内容开发人员自愿参与了这个项目——三位来自ACT✁数学开发团队，三位来自科学团队。在参与之前，他们阅读并讨论了有关文化相关评估及其合理性✁近期出版物，并参加了ACT专注于多样性和包容性✁跨功能“实践社区”。这一系列持续✁讨论和互动展示每月大约有30-40名团队成员参加，包括内容开发人员、研究人员、心理测量学家、适应性专家以及ACT学习平等中心✁代表。 数学和科学开发者们了解文化相关评估✁重要性，并且认识到其价值，他们表达了参与此项目 ✁热情。这✁他们首次尝试开发具有特定文化相关性✁ACT内容，他们担心如何在当前测试规范和相关内容开发限制下将文化相关性融入ACT数学和科学内容中。此外，他们都自认为✁非西班牙裔白人女性，并主要在美国中西部地区生活，他们意识到这一点✁一个局限性。也就✁说，他们✁生活经验限制了他们生成具有文化相关性✁项目点子以及后续评估内容✁真实性与相关性。这表明了当前评估行业在开发具有文化相关性✁内容方