双边市场下的实验设计
双边市场概述
双边市场（如出行、电商、婚恋、广告平台等）中，供给方和需求方相互影响，需求方的变化会引起供给方的变化。实验设计需考虑这种交织影响。
传统实验设计方法及其缺陷
- 地域随机化：按城市划分样本，但样本量少、不同质，评估不灵敏。
- 类目随机化：按商品类目随机化，但不同类目竞争程度差异大。
- 时间随机化：按时间段分组，但实验周期漫长且跨时间段影响强。
广告平台实验设计挑战
- 地域和时间随机化不可行：广告投放无地域限制，广告效果存在跨时间段影响。
- 广告流量四格表实验：通过流量和广告分桶，但存在抢夺和外溢问题，导致评估不准确。
广告流量四格表实验分析
- 理想情况：实验组策略提升广告效果，对照组无差异。
- 实际外溢情况：实验广告对非策略流量产生正向外溢，影响评估结果。
解决方法及其缺陷
- 解决方法一：隔离广告影响，但工程挑战大、效率低、难以保证独立性。
- 解决方法二：广告和流量同时隔离，但收入损失大。
- 解决方法三：改进隔离方法，但仍有抢夺和外溢问题。
- 解决方法四：广告分身流量联合实验，但工程难度大、广告数量膨胀、难以保证独立性。
- Counterfactual interleaving：排序实验，但存在收入损失和状态依赖污染问题。
列联表联合采样方法
- 设计：将流量和广告分桶，推广四格表为m*n设计，同时评估抢夺和外溢效应。
- 建模：通过线性模型拟合实验数据，验证其洞察行和有效性。
- 优势：解决抢夺问题、避免左右互搏、统一整体影响。
- 缺点：假设线性可加、样本数量少且差异大、模型理解成本高。
双边市场模拟系统
- 概述：基于广告系统全链路抽象简化，屏蔽复杂逻辑，关注核心逻辑。
- 特点：易于快速分析和验证，减小实验风险，量化评估，快速迭代。
