本文研究了在尼日利亚进行的实验中,调查方式(面对面或电话)对调查测量和数据质量的作用。实验设计将调查方式的影响与其他常见的调查误差来源隔离开来,涵盖了健康、劳动、冲击、福祉和粮食安全等主题下的 20 个结果指标。
研究发现,在没有电话的情况下,电话调查的结果与面对面调查的结果存在显著差异,在中间值处差异达到 18%。这种模式效应在广泛的调查结果中都很明显,包括粮食安全、劳动和就业、非农企业拥有、健康和主观福祉、天气预期和冲击。电话调查受访者系统地报告了更多的健康事件、更高的家庭企业活动、更高的粮食消费、更高的冲击暴露和更强的控制点陈述。
研究还发现,受教育程度较高的受访者受模式效应的影响较小。随着受访者面临的答案选项数量的增加,模式效应的普遍性急剧增加。受访者更倾向于在电话调查中同意陈述,对二元问题的回答是“是”,对当前经济状况的评估更负面,对未来经济状况的预期更乐观。
此外,本文还比较了模式效应与其他调查误差来源。研究发现,由于非普遍的电话拥有率,覆盖率误差也很重要:电话拥有率与非随机性相关,与性别、年龄、教育和家庭财富相关。这些差异导致在约一半的检验结果中存在显著的覆盖率效应。覆盖率效应通常小于模式效应,在 20 个结果中,覆盖率效应在中间值处占模式效应的 21%。模式效应和覆盖率效应通常具有相反的符号。在这些情况下,两种误差来源在总体中相互抵消,有时掩盖了模式效应的真实规模。
本文的主要贡献在于提供了迄今为止最全面的关于 LMIC 调查中模式效应的规模和机制的实验证据,跨越了多个主题和变量类型。研究结果强调了识别和减轻(电话)调查测量误差以改善 LMIC 数据质量的重要性。电话调查可以以可负担的成本解决对大规模、高频调查数据的日益增长的需求。然而,要充分发挥这种潜力,需要解决其自身的一套数据质量挑战。本文的研究表明,模式效应的规模可以与覆盖率误差相媲美,尽管迄今为止很少受到调查研究人员和电话调查用户的关注。此外,本文还表明,可以通过调查设计(例如问卷设计或受访者激励)和实地工作规程(例如 enumerators 培训和分配给访谈,或实时数据质量检查)在事前减轻测量误差,并使用事后的统计调整在事后减轻测量误差。