双边市场下的实验设计
1. 双边市场定义
双边市场是指具有两个不同用户群体的平台，这些用户群体相互提供网络价值。常见的例子包括出行平台、电商平台、婚恋平台和广告平台。
2. 实验设计方法
2.1 地域随机化
适用于出行平台，将城市随机分为两组，每组采用不同策略，但样本量较小，评估不够灵敏。
2.2 类目随机化
适用于电商平台，根据不同类目的商品进行随机化处理，减少竞争。
2.3 时间随机化
适用于存在明显时间依赖性的场景，按时间分组，不同时间段使用不同策略。
3. 广告平台实验设计
3.1 广告流量四格表实验
- 理想情况：通过四格表实验评估策略效果，发现策略有显著正向提升。
- 只有抢夺：策略广告在特定流量下有抢夺现象，但整体提升效果依然显著。
- 发生外溢：策略广告不仅抢夺同流量广告，还对其他流量产生正向外溢效应。
3.2 解决方案
- 隔离广告和流量：将广告和流量同时分组，策略只在实验流量和广告生效，但工程实施难度大，难以完全隔离。
- 流量和广告同时隔离：将流量和广告拆分成多份，策略在实验流量和空白流量中生效，但仍有竞争影响。
- 广告分身流量联合实验：将广告复制，分别使用不同策略，但实现复杂，且广告数量增加。
- Counterfactual interleaving 实验：将全量广告分别使用实验策略和对照策略排序，但存在状态依赖问题。
3.3 列联表联合采样
- 优点：解决了抢夺和外溢问题，提高样本空间，便于评估策略效果。
- 缺点：假设抢夺和外溢是线性的，模型理解成本较高。
4. 双边市场模拟系统
- 目标：减少实验风险，加速实验优化和迭代。
- 特点：基于广告系统全链路进行模拟，屏蔽复杂逻辑，专注于核心逻辑，易于快速分析和验证。
感谢聆听。
