设计和分析强大的实验：应用研究人员的实用技巧（英）

本文探讨了如何通过设计和分析改进随机实验的统计功效。作者指出，许多随机实验可能存在功效不足的问题，导致研究结果无法有效指导政策制定。文章从设计、实施和分析三个阶段提出了提高实验功效的实用建议。

设计阶段：

• 选择估计量： 研究者可以通过筛选掉可能流失、不合规或异常的单位来改变研究人群，从而提高特定子群体的功效。选择更接近干预措施的因果链中的结果变量，以及使用 Winsorized 或二进制变量替代连续变量，也能有效提高功效。对于聚类实验，选择低 ICC 的结果变量，并确保聚类规模均衡，可以提升功效。
• 选择干预措施： 建议尽量减少干预措施的数量，并使其尽可能集中和有效。如果需要测试多种干预措施，应选择可以合并的干预措施，以提高功效。
• 设计选择以减少方差和 ICC： 使用分层或匹配四重奏随机分配方法可以减少残差方差，从而提高功效。对于聚类实验，选择更同质的聚类单元可以降低 ICC，提高功效。

实施阶段：

• 提高参与率和减少非合规： 通过筛选感兴趣的单位、使用提醒和激励措施、以及设置候补名单等方法，可以提高干预措施的参与率，减少非合规现象，从而提高功效。
• 减少流失： 通过多种方式联系参与者、进行多次调查尝试，以及寻找其他数据来源（如行政数据或网络数据），可以减少流失，提高有效样本量，从而提高功效。
• 通过仔细关注测量减少方差： 通过嵌入一致性检查、使用锚定和三角测量方法、结合多个测量指标，以及谨慎处理包含大量零的数字等问题，可以减少测量误差，提高功效。

分析阶段：

• 改变检验统计量或估计量： 在某些情况下，使用单边检验可以增加检测特定方向影响的功效。对于低参与率或高非合规率的实验，可以使用工具变量估计量或加权估计量来提高对接受干预单位影响的估计精度。对于多个结果变量，可以构建指标来综合评估干预效果。
• 控制变量的选择： 包含滞后因变量作为控制变量可以显著提高功效，尤其是在结果变量高度自相关的实验中。其他能够预测结果变量的控制变量也能提高功效。
• 通过贝叶斯分析结合外部信息： 使用基于文献、专家或参与者提供的信息构建先验分布，可以结合外部信息提高估计精度，尤其是在样本量固定的情况下。

结论：

本文强调了提高随机实验功效的重要性，并提供了在设计和分析阶段提高功效的实用建议。作者指出，实验的功效并非固定不变，研究者可以通过多种方式提高功效，从而获得更可靠的研究结果，为政策制定提供更有效的指导。