大使用 Paradata 评议家庭调查中接受采访者承担和采访者实效来 ： 从中低收入国家的证据 （ 英 ）

授权公开披露 授权公开披露 政策研究工作文件10456 使用Paradata评估受访者负担和面试官效果家庭调查 来自低收入和中等收入国家的证据 ArdinaHasanbasriTalipKilic GayatriKoolwalHeatherMoylan 发展经济学发展数据集团 2023年5月 政策研究工作文件10456 Abstract 在过去十年中，低收入和中等收入国家的国家统计局越来越多地转向计算机辅助的个人访谈和计算机辅助的电话访谈，以实施家庭调查。这些类型的数据收集的副产品是调查paradata，它可以解锁对受访者负担、调查成本和面试官影响的客观、模式和问题特定的、可操作的见解。这项研究正是利用调查解决方案计算机辅助个人访谈平台在最近的国家住户调查中生成的数据，这些调查由国家统计机构在坎博迪亚、埃塞俄比亚和坦桑尼亚实施。在各个国家/地区，基于社会经济家庭问卷的平均家庭访谈时间为82至120分钟，而基于多主题个人问卷的成年家庭成员的平均访谈时间为13分钟。 到25分钟。使用为每个家庭和个人问卷模块估计的多级模型，本文表明，面试官对模块持续时间的影响明显大于高收入环境的估计。就持续时间的总差异而言，食品消费，家庭名册和非农业企业始终出现在前五名家庭问卷模块中，其中5％至50％的变化归因于面试官。同样，就持续时间的总方差而言，劳动，健康和土地所有权出现在前五名个人问题模块中，其中6％至50％的可变性归因于面试官。这些发现，特别是模块，指出在未来的调查中可能需要额外的面试官培训，实地考察监督和数据质量监测。 本文是发展经济学发展数据组的产物。这是世界银行为开放其研究并为世界各地的发展政策讨论做出贡献的更大努力的一部分。政策研究工作文件也在http://www上发布。世界银行。org/prwp.作者可以在ardia联系。hasabasri@yale.ed或tilic@worldba。 政策研究工作文件系列传播了正在进行的工作结果，以鼓励就发展问题交换意见。该系列的目标是快速得出发现，即使演示文稿还不够完善。论文带有作者的姓名，应相应地引用。本文表达的发现、解释和结论完全是作者的观点。它们不一定代表国际复兴开发银行/世界银行及其附属组织的观点，也不代表世界银行执行董事或它们所代表的政府的观点。 由研究支持团队制作 使用Paradata评估家庭调查中的受访者负担和面试官效应：来自低收入和中等收入国家的证据 ArdinaHasanbasri*,TalipKilic*,GayatriKoolwal*和HeatherMoylan*1 JEL代码:C81,C83 关键词：调查方法、家庭调查、Paradata、受访者负担、采访者效应、柬埔寨、埃塞俄比亚、坦桑 尼亚。 1作者按字母顺序列出。对应作者：ardina.hasanbasri@yale.edu或tkilic@worldbank.org。 *耶鲁大学杰克逊全球事务学院，生活标准测量研究，发展数据集团，世界银行。 1.Introduction 家庭调查在国家统计系统中起着至关重要的作用；为广泛的社会经济现象提供官方统计数据；并且是跟踪实现国家和国际发展目标的进展所必需的。多主题家庭调查在发展中国家经常实施，以填补数据和研究空白，国际上越来越有动力扩大家庭内部、自我报告、个人分类的调查数据的范围，这些数据收集到的男性和女性经济福祉的关键维度(粮农组织、世界银行和人居署，2019年；Hasabasri等人 。，2021年；国际劳工组织，2018年；联合国，2019年)。 尽管家庭调查在主题覆盖面和复杂性方面继续增加，特别是在低收入和中等收入国家，但在调查实施的各个方面的经验证据方面仍然存在差距，包括受访者的负担，调查成本和采访员的影响，这对于评估数据质量问题-在数据收集期间和之后-以及为有关未来调查设计的决策提供信息至关重要。 一个相关的有希望的发展是，在过去十年中，低收入和中等收入国家的国家统计局（NSO）加快了向计算机辅助个人访谈（CAPI）进行面对面调查的过渡（Carletto等人。，2022年)，并采用计算机辅助电话采访(CATI)进行电话调查，特别是针对COVID-19大流行带来的数据需求(Gorlay等人 。，2021年）。因此，从业者可以通过利用调查paradata来解决上述关于调查实施的经验知识差距 ，这些调查paradata是作为计算机辅助数据收集的副产品生成的数据，并捕获创建最终调查数据集的整个过程（Coper，1998;Kreter，2013）。例如，SrveySoltiosCAPI/CATI平台会自动为每个调查提供一个广泛的paradata文件。此辅助数据集是对调查“生活”的高度分类说明，并包括与每次访谈 （e。Procedre，面试记录创建，面试分配给枚举者，答案提供，在每个问卷字段中修改和评论添加 ，面试完成，仅举几例）。 2可持续发展目标（SDG）的一些指标需要个人分类的调查数据，包括SDG1.4.2（拥有安全的土地使用权，有法律认可的文件，并认为自己的土地权是安全的，按性别和使用权类型划分的成年总人口的比例），SDG5。a.1(a)(按性别分列的拥有农业土地所有权或安全权利的农业总人口的比例)和可持续发展目标。 5.a.1(b)(按使用权类型划分的农地所有者或权利承担者中妇女的份额)，可持续发展目标5。b.1(拥有移动电话的个人比例，按性别分列)；可持续发展目标8.10.2(在银行或其他金融机构或移动货币服务提供商有账户的成年人(15岁及以上)的比例，按性别分列)。研究表明，获取私人访谈中收集的自我报告调查数据对于准确测量这些指标和相关指标的重要性（Kilic等人 。，2021年，Kilic等人。，2022年，Hasabasri等人。，2021年）。 过去的研究表明，调查数据可用于（i）监测调查进度并为适应性调查设计提供信息；（ii）分析和调整调查无反应；（iii）在调查实地调查期间计算细粒度的访谈持续时间统计数据，并作为未来调查设计和成本计算的输入，(iv)跟踪答案修改模式和对预期访谈流程的符合性;(v)识别伪造的数据, (vi)验证对抽样列举区域和家庭位置的预期访问的符合性,以及 (vii)研究受访者的行为并预测未来的调查参与(Chomer-Nolo等人Al.，2019年；库珀和克鲁特， 2013年；戈尔德耶夫等人。，2021年；Jas等人。，2011；Kreter等人。，2010；Kreter和Olse ，2013；Mrphy等人。，2019年；弗吉尼亚，2016年)。尽管在高收入国家进行的调查为这些研究工作提供了信息，但在低收入和中等收入国家中，可比的应用很少，在这些国家中，建立了国家统计局在使用数据进行调查设计方面的技术能力，管理和质量控制已被联合国秘书处间住户调查工作组确定为未来十年住户调查定位的技术优先事项之一(Carletto等人。，2022年）。 为了首次在低收入和中等收入环境中获得关于调查受访者负担、调查成本和采访员影响的paradata支持的见解，本文使用paradata作为柬埔寨、埃塞俄比亚和坦桑尼亚国家统计局在2018年至2020年期间使用SrveySoltiosCAPI平台实施的全国家庭调查的一部分。这些调查得到了世界银行生活水平测量研究（LSMS+）项目的支持。 （a）多主题的社会经济家庭调查表，以及（b）跨国可比的个人调查表，该调查表在私人访谈中对成年家庭成员进行了管理，以收集有关其工作和就业以及所有权的自我报告信息。对实物和金融资产的权利，以及其他主题。 本文首先为广泛的家庭和个人问卷模块提供了精确的国家和问卷模块特定的持续时间估计，作为受访者负担的代理。这些统计数据可以作为操作相关的输入，可以为有兴趣在可比环境中实施类似问卷模块的调查从业人员的决定提供信息。平均家庭采访时间从柬埔寨的82分钟到坦桑尼亚的120分钟不等 。食物消费往往是最耗时的家庭问卷模块，平均需要22到26分钟，具体取决于国家。除食品消费外 ，非食品消费，住房和家庭名册上的家庭模块在面试时间上始终名列前茅。同样，平均个人访谈从埃塞俄比亚的13分钟到柬埔寨的25分钟不等，关于土地所有权、劳动、卫生和教育的个人问卷模块一直位居最耗时的模块之列。 Thedisaggregationoftheparadataallowsforamoredetailedlookintorespondentburden.Onecouldfindtheaverageminutesperquestionconditionsoncertainspecifications(forexample, 计算拥有土地的个人与没有土地的个人的土地模块的长度)。我们还能够提供有关抽样家庭的采访时间随着个人采访目标家庭成年成员数量的增加而增加的估计。平均而言，在柬埔寨，与成年家庭成员再进行一次面谈会使家庭面谈总时间增加约37至48分钟。在埃塞俄比亚，当从一个目标个人移动到两 个目标个人时，这个数字是41分钟，然后转换到每个额外的个人采访目标不到22分钟。考虑到调查管理的模块数量（高达191分钟，低至81分钟），坦桑尼亚每次面试目标的额外时间增加相对于其他国家而言是最大的。 此外，该分析将持续时间数据与调查总费用信息相结合，以提供每个国家一分钟面对面多主题调查数据收集的费用估算。在柬埔寨，每分钟费用估计为0.87美元，而可比数字为 埃塞俄比亚1.71美元，坦桑尼亚3.94美元。这些费用估计可用于为可比国家背景下的假设调查构建预算，作为每个家庭的预期总访谈时间的函数，这将由具体问卷模块的估计持续时间(可由本文提供信息 )和家庭内部访谈目标的数量(在个人一级数据收集的情况下)来调节。我们认为，本文报告的单位成本比过去每个受访家庭的跨国成本估算更具信息性和可比性（例如，参见Kilic等人。2017年)，因为各国在家庭调查数据收集的方法和范围方面存在显著差异。 随后，我们转向跨国分析面试官对模块持续时间的影响。面试官在调查实施中起着很大的作用，对受访者如何回答问题，不回答，测量误差和面试时间有潜在影响（WestadBlom2017；Flores-Macias等人。2008；Vollmer等人。2021年；Maio和Fiala2020）。关于面试官对面试时间的影响，过去的研究只关注高收入环境（Coper和Kreter，2013）。为这些文献做出贡献，我们依赖于模块持续时间的多级分层模型，其级别定义为枚举区域和采访者；在不同的模型规范下，计算每个模块的类间相关系数（ICC）；并分解ICC以了解由其采访者组件解释的模块持续时间的变化程度（i。Procedres.，ICC-I)。 我们的发现表明，尽管各个模块都有相同的面试官样本，但面试官的效果因模块而异。相对于来自高收入国家的可比较的多水平模型估计，这些影响通常更高，并且解释了面试时间总方差的很大一部分 。根据我们首选的多级分层模块规范，根据模块和国家/地区，面试官的影响可解释总差异的2％至 50％。 确定具有高总方差估计以及高ICC-I措施的模块是采取措施以最大程度地减少采访者影响的第一步，包括额外的采访者培训和实地考察监督。在家庭问卷模块中，就持续时间的总差异而言，食品消费，家庭名册和非农业企业始终列在前5个模块中。就食物消费模块而言，根据国家的不同，22％至50 ％的变化归因于面试官，家庭名册模块的可比范围为7％至27％，非农业企业模块的可比范围为5 ％至17％。具体国家的调查结果显示，其他模块在总方差方面排名前5位，并且与ICC-I估计至少10%相关。这些包括住房，非食品消费，耐用消费品和牲畜，采访者的影响解释了模块持续时间总差异的14％至40％，具体取决于模块。 同样，在大多数国家中，就持续时间的总差异而言，劳动力，健康和土地所有权在前5个单独的问卷模块中排名。ICC-I的估计范围为劳动模块的10％至25％，健康模块的11％至15％，土地模块的6％至50％。在