打造适合用户增长场景的AB实验体系

2023DataFunSummit 打造适合用户增长场景的AB实验体系 演讲人：田间—字节跳动—TikTokUGProdDSleader 目录 01020304 新用户场景下实验面临的问题 新实验体系及其科学性验证 新实验体系应用案例分享 Learning 01 新用户场景下实验面临的问题 PaidAds ASO 新手期 （Newuserperiod） 衰退期 （Churningperiod） 成长期 （Growthperiod） 成熟期 （Stableperiod） …… …… 自然 裂变 分享 SEO +NUF 拉新+新手运营拆解后精细化运营流失预警促活挽留流失召回 timeline 流失期 （Churnedperiod） MAU非MAU 未达稳态关键行为x稳定高价值降幅 随机 SUTVA 决策 结合统计方法与实验假设， 做出决策 实验平台分流 客户端本地分流 Pros Cons Pros Cons 实验平台保证分流均匀性必须有唯一稳定ID才可分流 无时延，开机即可分流分流均匀性无法保证 问题1 尽可能早的分流 问题1 尽可能早的分流 指标口径ID未生成 指标口径ID已生成 初始页面 82.93% 17.07% 页面1 18.62% 81.38% 页面2 16.08% 83.92% 页面3 15.35% 84.65% 页面4 7.81% 92.19% 页面5 3.98% 96.02% 页面6 3.69% 96.31% 页面7 2.95% 97.05% 非真实数据，仅供展示说明用 重复进组次数 占比 1 79.09% 2 10.53% 3 4.84% 4 2.84% 5 2.69% 客户端本地分流 Pros Cons 无时延，开机即可分流分流均匀性无法保证 非真实数据，仅供展示说明用 用户卸载重装后，分流ID与统计ID不匹配 观察时机远远晚于策略作用的时机,造成survivorshipbias app la+ unch 策略作用 指标ID生成并统计数据 FYP 分流 Time 02 新实验体系及其科学性验证 分流ID选择标准 合规性 及时性 唯一性 满足安全合规要求 开机即可获取 单次安装周期内稳定，与指标口径id一一对应 分流ID总量 与指标ID1vs1数 1vs1比例 分流ID<>指标计算ID 1xx,xxx,xxx 1xx,xxx,xxx 99.79% 指标ID总量 与分流ID1vs1数 1vs1比例 指标计算ID<>分流ID 2xx,xxx,xxx 2xx,xxx,xxx 99.59% 非真实数据，仅供展示说明用 均匀性 正交性 实验流量 Layer1-对照组1 Layer1-实验组1 Layer1-对照组2 Layer1-实验组2 Layer2- 对照组1 Layer2- 实验组1 实验组 对照组 = AAsimulator1000+次 对照组1对照组2 对照组1对照组2 对照组1对照组2 非真实数据，仅供展示说明用 …… …… 对照组1对照组2 03应用案例分析 渠道1 渠道2 渠道3 渠道4 渠道5 渠道6 App launch NUJ NUT RetRate …… 假设新用户下载安装->首启的流程 指标ID分流实验结果 进组新设备数RetentionRate 对照组4,000,05380.1% 实验组 +0.00027% 4,000,164| p_val=0.97 -2% 78.4%| p_val=0.001 非真实数据，仅供展示说明用 本地分流实验结果 进组新设备数RetentionRateStayDuration 对照组4,000,08880.1%100 实验组 +1% 4,040,089| p_val<2e-16 +0.5% 80.18%| p_val=0.001 -1% 99| p_val=0.001 非真实数据，仅供展示说明用 重复进组次数占比 179.09% 210.53% 34.84% 42.84% 52.69% 非真实数据，仅供展示说明用 新分流实验结果 分流进组ID数 有效新设备数 RetentionRate 对照组 5,000,110 4,000,088 80% 实验组 5,001,233 +1% 4,040,089| p_val<2e-16 +0.5%80.18%|p_val=0.001 非真实数据，仅供展示说明用 新分流实验结果 Notlogin Login 有效设备数占比RetRate有效设备数占比RetRate Control720,01618%40%3,280,07282%88% Treatment 1,292,828 32% 51% 2,747,261 68% 91% 非真实数据，仅供展示说明用 有效设备数 非真实数据仅供展示说明用 留存提升 1.6 1.4 1.2 1 0.8 0.6 0.4 0.2 0 策略1 策略2 策略3 LT 04Learning UG新用户场景， 现有实验体系不完全适用 •安全合规 •首次启动，即可获取 •单次安装周期内稳定，与指标ID单射对应 针对新用户场景的实验评估是一个 多维优化 有效设备数 设备留存 针对新用户承接的优化有巨大业务收益 JDforDataScientist UGProductDS实验科学与评估 因果推断，增长算法 US CN数据分析，增长策略 2023DataFunSummit —THANKS— 感谢您的观看