2-2 双边市场的复杂实验设计问题 - 程大曦 快手数据科学

双边市场实验与激励策略

1. 双边市场实验介绍

• 双边市场：包含消费者和生产者两方，相互促进。
• 双边实验：结合消费者和生产者两端进行分组实验，可以同时检测新策略对双方的影响。

2. 激励策略的挑战

• 度量难点：在供给侧和消费侧的生态体系内，存在政策性流量扶持需求。
• 对SUTVA的违背：每种激励策略可以看作一种排序算法，假设在用户i的排序中，控制组和实验组的表现受其他用户分组影响。

3. 可选解决方案

• 逐步扩量：逐渐增加实验组的流量，但难以区分先发优势与挤占效应。
• Budget Spliting：分割彼此分离的子世界，避免双边网络传递效应，但可能高估效果。
• 侧重实验分析：通过估计网络效应来矫正分析，需要进行线性或其他条件假设。

4. 综合方案

• 基于排序融合的方案：同时使用两套排序算法进行排序，记录作品顺序，将实验组作品放在RT排序位次上，对照组作品放在RC排序位次上，处理位置冲突。
• 效果评估：作者侧评估作品数和生产作者数，读者侧评估曝光或观看次数提升。

关键数据

• 挤占效应：实验组作者的曝光会挤占对照组作者的曝光。
• SUTVA违背：每种激励策略可以看作一种排序算法，假设用户i的排序受其他用户分组影响。
• 逐步扩量：从10%逐渐增加到99%，但难以区分先发优势与挤占效应。
• Budget Spliting：分割子世界，避免双边网络传递效应，但可能高估效果。
• 排序融合：实验组作品在RT排序位次上，对照组作品在RC排序位次上，处理位置冲突。

其他考虑

• 算法数据隔离：部分改进效果可能来自收集更多数据。
• 更大流量设计：随机选择一定比例进行融合混排。
• 双边实验可行性：双边能否同时开展。