发送多个预付费激励是否有效？来自随机实验的证据

财经系列讨论 联邦储备委员会，华盛顿特区，ISSN1936-2854（打印） ISSN2767-3898(在线) 发送多个预付费激励措施是否有用吗？来自随机实验的证据 AndrewC.Chang、JoanneW.Hsu、EvaMa、KateBachtell和MicahSjoblom2024-023 请引用本文为： Chang，AndrewC.，JoanneW.Hsu，EvaMa，KateBachtell和MicahSjoblom（2024） o“发送多个预付费激励措施是否有用吗？来自随机经验的证据”，《金融与经济讨论系列 》2024-023。华盛顿：美联储系统理事会，https://doi.org/10.17016/FEDS.2024.02323 。 注意：金融和经济讨论系列（FEDS）中的员工工作文件是为激发讨论和评论而分发的初步材料。提出的分析和结论是作者的分析和结论，并不表示其他研究人员或理事会成员的同意。在出版物中引用的金融和经济讨论系列（除了承认）应清除与作者（S），以保护这些论文的暂定性质。 发送多个预付费激励措施是否付费？来自随机实验的证据 2024年4月15日 AndrewC.Chang，*联邦储备系统理事会，andrew.c.chang@frb.govJoanneW.Hsu，*密歇根大学 ，jwhsu@umich.edu 伊娃·马，联邦储备系统理事会，eva.ma@frb.govKateBachtell，芝加哥大学NORC，bachtell-kate@norc.orgMicahSjoblom，芝加哥大学NORC，sjoblom-micah@norc.org Abstract 为了鼓励调查参与并提高样本代表性，消费者财务调查（SCF）在调查完成后提供无条件的预付货币激励和单独的后付激励。我们在2022年SCF中进行了预注册的受试者间随机对照实验，每个实验组至少有1200户家庭，以检查改变预付激励结构是否会影响调查结果。我们评估了以下效果：（1 ）更改预付激励的总美元价值（“激励效应”），（2）给予两个相同的预付激励，这些激励保持固定的总美元价值（“提醒效应”），以及（3）提供多个不同金额的预付激励，这些激励保持固定的总美元价值（“斜率效应”）对调查响应率，面试官负担和数据质量。我们的证据表明，相对于单个$5的预付激励，单个$15的预付激励会增加回复率，并保持相似的面试官负担和数据质量水平 。将15美元分成两个不同金额的预付费奖励增加了面试官的负担，尽管在不提高回复率的情况下延长了现场时间，减少了回复所需的联系尝试次数，或者提高了数据质量，无论第一个预付费是大于还是小于第二个。 关键字:预付费激励;无条件激励;序贯激励;回复率;调查;数据质量;家庭财务 JEL代码：C83;C93;G5 *：ORCID0000-0002-9769-789X。*：ORCID0000-0002-0715-6230。所提出的分析和结论是作者的分析和结论，并不表示联邦储备系统理事会其他成员，其研究人员或芝加哥 大学的NORC我们感谢凯西·哈格蒂、迈克尔·卡尔马、凯瑟琳·麦格纳格尔、凯文·B。Moore，HeatherSawyer，AliceHeriqesVolz和2023年联合统计会议的会议参与者，以寻求对该项目的评论和帮助。我们的预注册计划是在开放科学框架下的“2022SCF预付费激励实验”在https://dx。doi.org/10.17605/OSF。IO/BXJNE。该实验得到了内部审查委员会的批准 。芝加哥大学的NORC在协议ID#21-08-433下。 Introduction 招募参与者进行调查的环境越来越具有挑战性，这给研究人员带来了许多风险，他们需要平衡实现代表性样本和保持数据质量，同时控制现场的财务成本和时间。激励措施，包括在调查完成时无条件的预付激励措施，是鼓励调查反应的一个重要工具。虽然调查通常采用单个预付费激励,但是在数据收集期间,可以以各种方式构造预付费激励。 由美国联邦储备委员会（FRB）赞助的消费者金融调查（SCF）开始采用预先通知明信片，然后根据Hs，Schmeiser，Haggerty和Nelso（2017）的调查结果，预付5美元现金和2016年浪潮的邀请函。为了探索受访者激励措施结构的变化如何提高回应率，现场持续时间和数据质量，我们在2022年SCF中嵌入了为期8周的现场实验。我们随机分配了6组受访者，他们的预付激励结构和金额各不相同，其中一组之前使用的单一预付激励为5美元。在我们的实验中，我们测试了三个不同的条件：（1）改变预付激励的总美元价值（“激励效应”），（2）给予两个相同的预付激励保持固定的总美元价值（“提醒效应”），以及（3）提供多个不同金额的预付激励保持固定的总美元价值（“斜率效应”）。 我们分析了实验结果，以确定不同的预付激励结构对家庭财务的调查回复率，面试官负担和数据质量的影响。结果提供了对不同设计的成本和收益的见解，以及完成有关敏感话题的深入面试官管理的调查的预付激励措施的价值。此外，通过提供各种价值的激励金额，我们调查了较高的激励金额与完成率之间的关系是单调的还是在较大的价值下恶化。 我们发现，更大的预付激励产生了更高的响应率，约2或3个百分点（基线响应率的三分之一左右 ），对其他调查结果没有有害影响，并且最好将激励作为单一付款，而不是将其分成多个付款。将激励分成不同数额的支付，通过增加现场时间而不提高答复率、减少答复所需的联系尝试次数或提高数据质量，增加了现场采访者的负担。 预付费货币激励对策的理论背景 大量的经验和理论研究支持使用激励措施作为促进调查完成的更广泛战略的一部分。大量研究表明 ，无条件的预付激励措施相对于有条件的预付激励措施特别有效 1联邦储备系统理事会（2023b）。SCF收集有关美国家庭收入，财富，债务和其他财务结果的信息。有关SCF的描述，请参阅Aladangady，Bricker，Chang，Goodman，Krimmel，Moore，Reber，HenriquesVolz和Windle（2023）。 incentives(BlohmandKoch2021).Inaccordingwiththeoriesofsocialexchange,noncontingentpre-paidincentivescanencouragesurveyresponsebyprovidingapsychologicalsenseofobligationtoreturnthefavingoftheincentive(Gouldner1960;Dillman 杠杆显着性理论提供了另一种机制：预付费激励可以帮助建立信任，即受访者会尊重请求并完成调查（Groves，Singer和Corning2000）。也就是说，激励可能会吸引外部动机，这些动机在产生对调查请求的遵从性方面通常不如内在或利他动机有效（Hansen1980）。 激励措施的有效性因设计和规模而异。不同的激励金额可能会产生不同的杠杆或更强的义务感。根据经济交换理论，当总体收益超过成本时，受访者对调查做出回应，因此更大的激励措施应产生更高的回应率（Bier和Kidd1994）。但是，响应率可能不会随着激励的大小而单调增加。一些研究发现，预付激励的大小与响应率之间的关系是非线性的（Warrier，Goyder，Gjertse，Hoher和McSprre1996 ；Trssell和Lavraas2004）。2一种可能的解释是，激励的大小可能会对低或高杠杆，互惠感或对调查合法性的看法产生不同的吸引力。此外，过大的激励措施可能导致受访者不信任调查，或者过度吸引外部激励因素而无法有效。也就是说，对2007年至2010年SCF后薪激励增加的分析发现，这种增加减少了响应所需的联系尝试和时间，同时保持数据质量（Bricer2014）。2014年的一项模仿SCF工具和现场策略的实验发现，对非常大的有条件后付费激励(Hs，Schmeiser，Haggerty和Nelso2017)没有负面影响。 大多数调查在数据收集期间使用一次预付费激励措施。3但是，鉴于垃圾邮件的激增，个人可能会较少关注他们的邮政邮件，或者可能会完全错过最初的邮件或激励措施。因此，一些研究调查了重复（顺序）预付激励措施的使用，希望重复激励措施将引起受访者对调查材料的更仔细（或任何）阅读和考虑。Messer和Dillma（2011）发现，跟进最初的请求，包括通过优先邮件向非响应者提供5美元的预付激励和第二个5美元的预付激励，将全州网络调查的响应率从59％提高到68％。在另一项邮件网络调查的背景下，瓦格纳、韦斯特、库珀、张、加沃德、西村和锯(2023)发现， 2美元的预付激励包括在最初的邮件中，通过优先邮件发送额外的5美元大大增加了回应率。然而 ，在这两个研究中，第二个激励的效果不能从优先邮件的效果中分离出来。 2与此相关，Han，Montaquila和Brick（2013，表2）发现，预付激励的大小会影响回应率，条件是符合条件的受访者完成筛选的速度有多快。 3相应地，有大量的研究评估单一的预付激励是否会影响回应率。例如：Hsu，Schmeiser，Haggerty和Nelson（2017）；Frederiks，Romanach，Berry和Toscas（2020）；Jackson，McPhee和Lavrakas（2020）；Powell，Geronimo-Hara，Tobin，Donoho， Dyema，Steveso，Assad，Kiss和Taylor（2021）在对医生的邮件调查中进行了一项实验，发现“第二次激励措施（在第一次激励措施后一个月发送）与每次完成的调查的较高响应率和较低的成本相关”，但对项目无响应没有可衡量的影响。迪尔曼、史密斯和克里斯蒂安(2014年，第424）现在建议混合模式研究的研究人员在他们的后续沟通中加入第二个现金激励措施，为“以后的沟通[]提供阅读的机会，并希望采取行动，从而增加整体反应。“也就是说，Dyema，Jaqes，Cyffa，Assad，Hammers，Elver，Maleci和Steveso（2015）发现，再次针对非响应者的第二个预付激励措施并没有提高响应率。 很少有研究研究过重复激励的大小在增加或减少的差异效应，我们称之为“斜率效应”。一个例子是Dyema，Steveso，Assad，Kiss和Taylor（2021），他们发现，相对于小于第一个的第二个激励，第二个激励大于第一个激励的回应率或项目回应几乎没有可测量的差异。同样，他们发现这两种情况的响应者的代表性与基准管理数据没有显着差异，因此他们研究中的斜率效应似乎在调查结果中没有差异。 在我们的研究中，我们在具有全国代表性的混合模式（面对面和电话）调查的背景下分析了预付激励措施，在该调查中，最初通过邮件与受访者联系。 虽然大多数现有的研究涉及仅向非响应者发送第二个激励措施，但我们的研究在第一个响应后两周向潜在的受访者发送了第二个邮件和激励措施，无论响应如何。 Methods 消费者金融调查概述 SCF是对美国家庭财务状况的全国代表性调查，每三年对不同的美国家庭进行一次（联邦储备系统理事会，2023b）。涵盖的主题包括收入，资产，债务，其他财务特征和经济行为。该调查由现场采访者（FI）管理，从历史上看，主要是面对面进行的。 鉴于美国的财富高度集中，SCF使用双框架样本来确保覆盖整个财富分配。SCF采用基于地址的多阶段国家代表性区域概率（AP）样本，并辅之以专门设计用于对富裕美国人进行过度抽样的分层列表样本。4面对过去二十年来调查响应率日益严峻的环境，SCF一再延长了时间并增加了现场费用。自2004年以来的每一波都需要在目标八个月的现场周期之外平均延长2.5个月，而2019年和2022年的一波需要延长约4个月。 4关于抽样程序的讨论见Kennickell(2005)。 5In2022the