基于证据的错误信息干预 ： 测量和合作的挑战和机遇

ESOC CONfiICT的实证研究 2022年12月 基于证据的错误信息干预措施：挑战和测量的机会 和合作 YasminGreenAndrewGullyAbhishekRoyYoelRoth, 约书亚·塔克和艾丽西娅·万尼斯 基于证据的错误信息干预措施：挑战和测量的机会 和合作 YasminGreenAndrewGullyAbhishekRoyYoelRoth, 约书亚·塔克和艾丽西娅·万尼斯 这篇论文得到了微软、约翰·S和詹姆斯·L·奈特的慷慨支持。 基金会、克雷格·纽马克慈善基金会和威廉和弗洛拉·休利特基金会。 ©2022卡内基国际和平基金会和普林斯顿大学。保留所有权利。 卡内基在公共政策问题上不采取机构立场；本文所代表的观点是那些作者(S)的观点，不一定要反映卡内基、其sta或其受托人的观点。 不得以任何形式或任何方式复制或传播本出版物的任何部分卡内基国际和平基金会的书面许可。请直接询问： 卡内基国际和平基金会出版部 1779马萨诸塞州大道西北 Washington,DC20036 P:+12024837600 F:+12024831840 CarnegieEndowment.org 可在CarnegieEndowment.org上免费下载。 Contents Summary1 Introduction3 成果计量5 Defi在错误信息中的挑战5 理想度量的属性：可行的、有意义的、7 和可复制 实践中的理想指标示例9 治疗效果的估计10 实验方法的注意事项11 准实验方法的思考12 用户体验研究14 ContentsContinued 意外后果15 同意书17 Conclusion18 关于作者21 Notes23 卡内基国际和平基金会31 普林斯顿大学32 Summary 挥之不去的冠状病毒大流行只是强调了对fi和e的有效需求帮助互联网用户评估他们面前信息的可信度。 然而，数字平台内的研究人员和学术界的研究人员之间仍然存在分歧 andotherresearchprofessionalswhoareanalyzinginterventions.Beyondissuesrelatedto 数据访问，一个值得自己发表论文的挑战，存在澄清核心问题的机会每个研究社区的能力，并在他们之间架起桥梁，以追求 共同目标是改进面向用户的干预措施，以解决在线错误信息。是论文试图通过提出问题进行讨论来为这种桥梁建设做出贡献:不同的激励结构如何决定结果指标的选择和 学者和平台研究人员的研究设计，考虑到价值和各自机构的目标？哪些因素影响干预措施的评估学者不存在的平台的可行性(例如，平台用户的 在尺度上的感知、可测量性、相互作用和对指标的纵向影响在现实世界的部署中引入)？fi的互惠互利机会是什么 协作(例如，从平台到研究人员关于用户的更多洞察力共享关于干预设计多样性的反馈)。最后，我们介绍了一种测量属性框架，以帮助开发可行、有意义和可复制的指标 研究人员和平台从业者在开发、测试和部署时要考虑错误信息干预。 11 Introduction 尽管取得了进展，社交媒体的用户仍然面临着错误信息由主要社交媒体公司在扩大执法和排名方法 解决在线信息误导或不准确造成的危害。1Research这表明知情用户可以减缓错误信息的传播2而用户 想要让这些判断需要的工具，但我们缺乏一个强大的基础- 了解如何实现这一目标。3在本文中，我们探讨了更大的合同- 研究社区之间的定量-特别是技术平台内部的定量学院和民间社会-可以加速向赋予用户安全和 在线通知。4 桥梁建设是必要的，以了解哪些类型的干预措施最适合解决信息环境中的威胁，特别是在民主国家的背景下。 促进基于证据的决策以解决错误信息的一种方法在线是建立对干预目标和指标的共同理解 评估它们。随着平台数据访问外部各方的进步，通过欧盟的数字服务法案和欧洲数字媒体观察站 指导这样一个制度的大纲，本文邀请学者和平台研究人员参与关于测量研究如何通过合作发展的对话。5 研究社区有不同的观点、优先事项和实践。在 研究错误信息干预措施，评估通常设定的研究结论- 分开的uencies可以照亮它们之间未开发的合作机会，或者至少应该提出克服现有合作障碍的方法。到 3 概括地说，学者倾向于受到对Phe的基本科学fic理解的激励。名称-在这种情况下，消费、参与和分享错误信息，以及 其次对平台功能的设计感兴趣，以改善这些现象。平台另一方面，研究人员的主要动机是解决他们的问题 拥有产品表面，其次对推进科学感兴趣。同样，研究社区优先考虑不同的影响环境：学术界倾向于优化 用高质量和彻底引用的出版物推进科学fic理解；平台研究人员旨在改进或告知新的功能设计。 毫不奇怪，研究社区缺乏一个共同的概念化框架人类行为，并用于评估在线工具和策略的效率。 旨在改善这种行为；我们也错过了合作开发这些行为的机会框架。加剧了这一挑战，大多数研究在内部由 如果平台选择发布，平台只会进入公共领域 这项公开的研究是类似于学术界的“file抽屉”问题，那里的问题较少有趣的(通常是空的)结果往往无法公布，导致整体上的偏见 知识的积累。6 对用户数据的外部访问是关于技术平台作用的辩论的前沿和中心在支持公共利益研究方面，但这不是本文的主要重点。 重要的工作发生在这方面和最终的范围和治理 平台数据共享将至少部分受到监管的推动。7相反，这篇论文试图推进跨部门研究人员之间的对话，认识到数据 共享在各平台之间是不平衡的(并且可能仍然如此缺乏监管变化)。我们首先希望研究人员的目标和动机可以有效地对齐 尽管这种不均匀。 注重制定和评估面向用户的干预措施,8我们探索 以下关键问题将有利于fit从整个研究中集体解决问题社区: •如何将制定有意义和可行的措施的目标因素纳入主要在线研究人员选择结果指标 平台? •哪些因素影响平台上干预措施的影响，这些干预措施在实验室设置，以及测量方法应该如何解释它们？ •鉴于当前的数据共享环境，存在哪些改进的机会跨环境和研究人员的分析的可转移性？ •鉴于研究和实验的高度敏感性 信息动态和错误信息，我们如何改进当前的 跨部门的同意做法，以保护和授权用户作为潜在的研究主题? 成果计量 当今对错误信息干预的研究发生在技术fiRMS和大型平台和学术、非专业fit和独立研究界。而 大多数(如果不是全部)在fi领域工作的人的最终目标包括减少传播和在线错误信息的消费，提出的特定fic问题，方法， andmotivationsmaydicFerconsiderably.Becauseoftheseinherentdifferencesinmotivation- 公司、平台和外部研究人员可能会优先考虑他们的研究类型行为，事实上，衡量的结果。 在这个空间中的研究通常属于三种类型的实验之一：小n实验室 研究，这些研究可能会随着时间的推移检查相同的主题；现场fi模拟实验，在约束下，改变信息环境特征的行为；和生活 平台上的实验。虽然平台可以在 研究或产品设计的不同阶段，第三类(平台实验) 几乎总是完全属于内部进行的实验研究领域 使用特权数据访问的科技公司，其中大部分未发布。9 Defi在错误信息中的挑战 设计和衡量干预措施的影响以应对错误信息揭示了 □领域内的基本挑战：确定哪些内容符合fi是错误信息- 而不是。10没有识别和分类内容的能力 有问题的(例如，错误信息)，使得与之的互动或感知的内容可能会被观察到，研究人员将无法正确观察 治疗效果。 确定消息或行为是否虚假和误导性通常是一个微妙的挑战 其结果取决于上下文特定的fic示例。围绕潜在事实达成共识 随着时间的推移而演变，这意味着今天任何裁定错误信息的决定都可能是当新信息出现时，Facebook面临着这一挑战 一项对冠状病毒是人为制造的说法进行分类的政策，将此类内容标记为只是为了推翻这个决定。11应用这样的defi定义可能是一个挑战 在实践中，大规模解决方案需要明确的标准，干预可以被设计。 在学术奖学金中，研究人员采取了许多方法来管理 这个问题，例如依靠事实检查员使用自己的方法做出真实/错误的决定在尝试测量时判断或利用已编译的有问题域列表 干预措施对误导性内容的影响。12错误信息的有限defi名称 协助学术研究人员进行可复制的研究，以及第三方definitions 帮助减轻可能从defiNing和 分析有问题的内容。相比之下，平台必然在外部运行任何一项单独研究的约束，都必须负责创造和 执行既对已知危害严格又能够覆盖的政策未来的人。 平台defi的核心元素错误信息的定义是内容的标准 是不真实的、误导性的或欺骗性的-尽管这种定义的精确机制，谁有权做出这一决定，fi从服务到 例如，TikTokdefi将错误信息称为“不准确或虚假的内容”。13Twitter同样针对“提出事实主张，以definitive表达”的声明。术语“和”是明显的虚假或误导性的，基于广泛可用的、权威的来源”。14YouTube在其错误信息政策中说明了误导性或欺骗性 内容可能会造成严重损害的严重风险-特别是当此类内容针对促进危险的补救措施或治疗，压制人口普查参与，分发 黑客材料，或干扰参与民主进程。 当今大多数大型在线平台也在其不断发展的错误信息中纳入- 政策强调伤害。平台可能清楚地表明内容是虚假的，因此 错误信息，但不清楚造成伤害的可能性。ey可能进一步不清楚内部或集体关于什么是适当的响应(特别是在 与每个平台上的错误信息干预相关的产品功能)。 缺乏一个普遍接受和可操作的虚假和误导性信息的defi概念- 信息让它变得更神秘，即使不是不可能，也要准确地比较不同的神力。跨研究或平台的干预。这些Definitional问题也使跨- 如果研究人员和平台有差异，将学术研究转化为平台上的测试defi有问题的内容或正在使用从这些内容之外提取的内容示例平台完全。15 在没有一个让fi满足研究人员的错误信息的共同定义的情况下，平台和公众，强调透明和可转让内容的方法 分类fi阳离子和测量策略可以为平台和研究人员努力实现共同的成果。 就平台而言，可以考虑发布规范列表或内容示例 这符合他们自己关于事后研究的有问题的内容和行为的定义。 is将激励直接针对平台进行优化的干预措施的研究 响应，并将使与外部研究人员进行更知情的、相互的对话。Facebook和Twitter已经这样做了，作为他们的一部分，发布关于来自不真实账户的协调活动。16 当人类评估者参与内容评估时，平台也应努力 发布评估者指南和数据集，使这些判断可复制。谷歌搜索，例如，发布人类用来评估页面搜索资格的指南- ty.17然而，平台需要权衡发布数据的潜在风险，这些数据可能为对手提供解决错误信息filters的见解。 学术研究机构也在类似领域进行投资，例如展示信息质量众包判断的潜在应用(或局限性)。18 如果证明成功，这些将为平台和研究人员提供额外的途径合作开展涉及信息质量决策的研究 透明的方式。 理想指标的属性：可行、有意义的，可复制的 对于打算评估干预措施对人们的影响的平台或研究人员对信息可信度的评估，有几个理想指标的属性需要保留头脑。根据有关干预的目标，措施应该是可行的， 有意义，可复制。19 一项措施的可行性取决于它是否在技术上和法律上可能计算并与用户期望和产品的设计保持一致。有意义 度量是指能够量化fi证明平台性能变化的度量。 产生了用户态度或行为的变化。可复制的措施是那些在目标用户群体中实现一致的结果。内外的研究人员 考虑到它们的优势，主要平台对这三个属性有不同的观点点和能力。 任何特定指标的选择都必须从干预的目标开始 mind.20研究人员可能有兴趣激励人们更正确地识别 内容的真实性，或更具体地fi，辨别真假内容的能力。其他研究人员可能对纠正错误的信念感兴趣。还有一些人可能对影响未来的浏览行为。21有些人会想不关注信仰，而是关注 分享。平台研究人员和产品设计师的目标是减少人们的展示- 确保错误信息，当消除暴露是不可能的，给他们的工具正确识别错误信息是必要的。 大型平台，因为它们偏向于