探究产品策略优化的长期影响

演讲人：王琛腾讯微信实验平台 目录Contents 背景介绍 最新研究 现有方法 01背景介绍 背景介绍 ●A/B实验：进行数据驱动决策的重要手段与黄金准则●A/B testing的本质：小样本统计推断●由“小”带来的主要问题：短期实验结果无法代表长期策略影响○例如一个新的UI设计，上线前通过A/B实验发现对DAU有1%的提升，但无法判断其在上线后三个月是否仍有具有影响●进行长期实验○与产品快速迭代的目标相违背 背景介绍 ●造成策略效应长短期差异的原因○外生影响■市场达到供需均衡状态需要时间■突发事件○内生影响■用户学习：novelty and primacy effect■用户结构改变■产品功能发展 现有方法 ●长期Holdout实验 ○一个策略前期验证过后上线，再留一部分用户不上该策略，长期观察这部分holdout用户与大盘用户的指标差异○费时间，成本高，策略长期不可迭代○若策略存在负面影响，则有伤害用户体验的风险 ●构建代理指标预测长期 ○e.g对用户生命周期价值(LTV)的预估○一般只关注相关性，无法捕捉到因果效应 ●Cookie-Cookie-day Design：关注用户学习的产生的携带效应，对其单独建模○Hohnhold, Henning, Deirdre O'Brien, and Diane Tang. "Focusing on the long-term: It's good forusers and business."Proceedings of the 21th ACM SIGKDD International Conference onKnowledge Discovery and DataMining. 2015. 现有方法 ●用户学习影响（User learning effect） ○积极的结果会强化导致该结果的行为，而消极的结果会减少导致该结果的行为○搜索广告对用户行为(CTR)的影响=广告相关性等直接因素+用户对广告的“态度”○目标：计算预测这种“态度”的变化 ●STEP1.实验设计 ○多实验组实验，每个实验组开始受到策略干预的时间不同 ■𝐸1组受干预的时间为第1-7天，𝐸2组第2-7天，𝐸3组第3-7天…■C组代表控制组，不受策略干预 ●STEP2.用指数函数拟合∆𝐶𝑇𝑅t ●STEP3.建立长期收益的OEC 最新研究 ●Cookie-cookie-day缺陷 ○实验设计复杂→变种Cookie-cookie-day○需要对携带效应（Carryover effect）建立参数模型 ●Estimating Effects of Long-Term Treatments(https://ssrn.com/abstract=4352459) ●目标 ○只进行短期实验○根据短期实验结果，结合历史行为数据，估计策略的长期影响 最新研究 ●方法浅析 ○代理指标（Surrogates）:捕捉到W对Y的所有影响的中间变量 ■例：用肿瘤的大小作为代理指标探究一种靶向药对癌症患者五年生存率的影响○将总时间划分为一系列时间窗的加和○用代理指标中和早期策略对长期指标的影响○根据上一阶段的代理指标、本阶段的策略W、用户协变量，建立对该阶段代理指标与结果Y的预测○不断重复嵌套，得到一系列的预测，直到到达想要的预测时间点WS 最新研究 ●现有一个进行了T时间的长期实验，我们将T分解为𝑇=𝑇𝐸+𝑇𝐹 ○1:𝑇𝐸→可观测到的实验阶段，模拟短期AB实验时间，例如7天○𝑇𝐸+1:𝑇𝐹→无法观测到的未来，例如一个月后○𝑇𝑂:实验前历史时间 ●假设实验者站在𝑇𝐸时刻 ●目标：用1:𝑇𝐸时间段的实验数据+𝑇𝑂的历史数据，预测𝑇𝐸+1:𝑇𝐹时间段每个时刻策略的效应○将预测效应与真实的T时间实验得到的效应进行比较 ●对于任意一个用户，在t时刻（𝑡∈[𝑇]），定义如下记号： ●目标平均处理效应： ○从1到t时刻所接受的策略→𝑾1:t=𝟏𝑡/𝟎𝑡○关注的结果→𝑌𝑡=𝑌𝑡(𝑾1:𝑡)○代理指标(Surrogates)→𝑺𝑡=𝑺𝑡(𝑾1:𝑡) ●某电商平台1月1日的特价活动对2月1日的网站流量时长的影响 ●某电商平台1月1日上线的新UI页面对2月1日的网站流量时长的影响 最新研究 ●假如将𝑇𝐸与𝑇𝐹进一步分割为更细粒度的时间段： ●图中虚线代表的上一时间段策略W对下一时间段结果Y的影响，被经由上一时间段代理指标S的实线取代 最新研究 ●假设1.(Surrogacy)：1:𝑇𝐸时间段的代理指标S能中和掉该时间段的策略对𝑇𝐸+1:𝑇𝐹时段结果Y的影响(𝑌,𝑺)⊥𝑾|𝑺 ●假设2.(Comparability)：控制住当前时段的策略W与上一时段的代理指标S后的【结果Y/代理指标S】，应与上一时段控制住同样条件的【结果Y/代理指标S】同分布 ●如何选取合适的代理指标(Surrogates)使其符合假设1? ○选用过去可观测到的所有代理指标，不仅仅只是上一个阶段的■例如指标1，2，3在时间t =1，2，3，4的值，共12个代理指标○关注的结果Y的短期表现亦可作为一个代理指标○代理指标越多，预测结果方差越大 ●假设2在存在周期性的时候可能不成立○e.g.周中周末的时间条件影响○我们在实验中，将天粒度的指标聚合成为周粒度来进一步分析 最新研究 ●为了帮助建立模型，我们定义如下两个估计目标： ●Longitudinal Surrogate Model where∆𝑡𝑘≔𝑡𝑘−𝑡𝑘−1,𝑡𝐾+1=𝑇and𝑡0=0. 最新研究 ●我们将方法应用在真实的长期实验上，实验共进行𝑇=20周 ●按周粒度分析 ○𝑇𝐸:长期实验最开始的几周，模拟可观测的时间○𝑇𝐹:长期实验剩余的时间，模拟不可观测的时间 ●对比该方法得到的预估效应v.s长期实验的真实值 ●关注的结果Y上的真实平均处理效应： 最新研究 ●Surrogates:选取反应用户相关行为的指标 ○e.g.请求次数，曝光次数，点击次数/某分类下的结果点击次数...○结果Y也作为一种特殊地位的代理指标○#S：Surrogates指标数量（包含结果Y） 最新研究 ●观察比较不同𝑇𝐸的预测结果 感谢您的观看—THANKS— 演讲人：王琛腾讯微信实验平台