广告实验是如何“欺骗”你的 —— 如何发掘真正的实验效力

2023年DataFunSummit 广告实验是如何“欺骗”你的 --如何发掘真正的实验效应 段玮韬 领英实验带头人 领英 C本体 目录 Introduction挑战现有方法 预算分割 01Introduction 全球最大的专业网络 14M+加拿大 143M+美国 11M+ 墨西哥 90M+Europe 1M+摩洛哥 2M+埃及 6M+土耳其 45M+印度 1M+以色列 36M+中国 1M+Japan1M+大韩民国 1M+HongKong 6M+哥伦比亚 1M+ 尼日利亚 2M+沙特阿拉伯 2M+ 5M+菲律宾 30M+巴西 1M+肯尼亚 新加坡3M+马来西亚 9M+印度尼西亚 4M+智利 6M+南非9M+澳大利亚 6M+阿根廷1M+New 新西兰 开始一篇文章 来自我的连接的摘要式更新 与行业趋势保持联系 着陆你的下一个游戏 900M 成员 26M Companies 15M 打开作业 50K 技能 60K 学校 190B 已查看更新 赞助帖子广告 LinkedIn营销解决方案 Ad 帮助广告商接触到所需的受众 02实验性挑战和误导性结果 数据在我们的DNA中 强大的实验文化 我们尝试UI更改，相关性算法，后端更改，甚至错误修复。 先进的实验基础设施 我们拥有最先进的内部平台，以满足不断增长的实验需求 30000+ 计算的指标 1500+ 日常活动实验 40+TB 度量和实验分配数据处理 我们实验... 市场实验 供应-可用的广告插槽 匹配-投标、调步和优化 需求-广告商平台 xyz.com LinkedInFeed LinkedIn受众网络 成员 Campaign 广告客户 在线平台中的实验 TREATMENTCONTROL $1/user$0.995/user +$0.005/user +0.5% lift 在线平台中的实验 TREATMENTCONTROL $1/user$0.995/user +$0.005/user +0.5% lift 当实验上升到100%时，我们经常观察到整体收入的提升要小得多。 A/B结果作弊吗？ 市场实验中的蚕食偏差 假设一个使用了100%预算的广告活动 ● 治疗使广告点击加倍 TREATMENT CONTROL ● 1次点击/用户 +1单击/user 2次点击/用户 实际收入影响不超过0% ● 实验中测量的收入影响为100％ ● +100%提高收入 在实践中，偏差可以是230%治疗效果 蚕食偏差的指标 我们要求每个坡道都要经过一个 ● 发射前增加分配的“迭代实验” 每个实验都是伯努利的集合 ● 试验，具有用户指定的成功/治疗概率，如果没有蚕食偏差，估计 ● 每次迭代中的效果应该相似 治疗效果的大变化表明相食 03Marketplaces中的典型实验设计 实验设计原则 无偏见 治疗效果估计需要准确 ，因为它们被纳入财务预测 Power 低最小可检测效应(MDE) 鲁棒性 实验者不应该进行数据分析以确定 解决方案(1)基于模型的调整 建模误差比目标MDE大几个数量级 解决方案(2)活动随机化 CONTROLTREATMENT Low电源;有偏见;重叠靶向 解决方案(3)交替日随机化 ROL TMENT Day1 Day2 time TREA ... CONT 无偏见根据日常预算；有偏见根据终身预算；Low功率 04LinkedIn预算拆分实验设计 预算分割 Google/广告运动1 沃尔玛/广告运动2 CONTROL 预算和成员 TREATMENT 预算和成员 最终用户/消费者 温和假设下的不偏不倚 一些温和的假设• 1)有限干扰两个市场的结果互不干扰 2)系统稳定 •尽管预算和目标受众减半，但该活动的行为与原始活动相似。 预算分割 Google/广告运动1 沃尔玛/广告运动2 CONTROL 预算和成员 TREATMENT 预算和成员 最终用户/消费者 在温和的假设下， •无偏见; •高功率; •30x实验速度 预算分割估计的方差 经验绩效--蚕食偏差 经验绩效--权力 LinkedIn的预算拆分实验 我们在其他市场扩展了预算分割实验，例如 • 招聘市场 预算分割是人们普遍信任的估计治疗效果的方法 • 市场实验 市场中的独特挑战要求进行创新实验 • 设计和分析 2023 DataFunSummit -谢谢- 感谢您的观察 段玮韬 领英实验带头人 领英