腾讯视频的增长方法论

UGin腾讯视频增长方法论分享 腾讯·增长产品技术中心·贺山 设定合理目标 目标制定，UG在腾讯视频的使命以及思考方式 整合可用资源 流量归因，困难点以及解决方案 制定增长方案 营收评估，ARPU和LTV的结构和用户级LTV预测的难点、方案 度量增长结论 效果检验，实验中台和因果推断 目录 UG十年 ——回顾十年UG在泛娱乐行业的发展历程 01 UGin泛娱乐行业 2014~2017 UG1.0：UG的大航海时代增长=买量 背景：4G网络刚刚开始商用，媒体平台对互联网流量还没有形成完整的方法论 核心矛盾：如何高效、稳定的获取流量，抢占市场 在网人数（万） 环比增长 120,000 100,000 90,359 98,899 103,195 106,700 10.0% 8.0% 80,000 60,000 40,000 20,000 - 64,875 68,826 73,125 77,198 82,851 6.0% 4.0% 2.0% 0.0% 201420152016201720182019202020212022 移动互联网不同时代下的主要矛盾以及UG的发展历程 UG2.0：思想革命与工业革命 增长=AARRR+实验 背景：互联网网民爆发式增长，各大应用商接连上市，短视频、阅读的增长故事扣人心弦，增长黑客、AARRR、科学实验等概念引入国内 核心矛盾：如何实现好这些通用的方法论 2017~2020 2020~？ UG3.0：工业化的、理性的增长增长：定制化方案 背景：人口红利见顶、疫情影响导致各平台开启降本增效，对精细化、工业化、个性化的增长方法提出了更高的要求 核心矛盾：通用方法论基础上更定向的解决问题 UG1.0大航海时代 品牌广告+效果广告 家电下乡、互联网的普及让更多的网民参与其中产生流量 一些人首次意识到流量可以变现，随着淘金者的涌入，以及行业标准、政策法规没有完 全建立，各种关于流量的“玩法”层出不穷，流量抢占以及反作弊攻防成为时代主旋律 CPT、CPD广告CPA广告CPI广告 厂商/三方商店、装机必备等位置的CPD广告 商店开屏、负一屏等系统商店资源 线上：聚合资源、积分墙、智能wifi等 线下：扫码地推、线下店安装有礼 灰产：设备墙、村村乐等 扫码地推 官方：厂商预装、OS预装等 线下：线下刷机 厂商预装 应用商店广告设备墙村村乐 线下刷机 UG2.0思想革命与工业革命 互联网安保法的推出以及TOP媒体商业化能力规范的搭建，玩法逐渐优胜劣汰 4G网络渗透率的逐渐提升以及商业化的成熟，中国网民数量迎来快速增长，一批先吃到红利的企业以及“UG”概念引入国内，短视频、阅读行业的增长故事深入人心，让整体中国互联网的UG进入了思想革命和工业革命的时代 UG的“万能模板”-AARRR NorthStarMetricAhaMomentMagicNumber UG3.0工业化的、理性的增长 2020年大环境的变化，对互联网及周边行业造成一轮冲击，各大应用开始报团取暖 互联网从大开大合的跑马圈地改为“治大国烹小鲜”的战略，统一的方法论和增长故事不再受到盲从，根据产品形态，不同产品、业务都走出了自己的增长道路 腾讯视频的UG定制化方案 01 设定合理目标 02 整合可用资源 腾讯视频作为一款PGC为主的内容平台，活跃和营收指标， 流量来源复杂，渠道成分复杂，归因方式复杂 除常规的季节、政策法规、假期、时事之外，还与IP发行的 存在不同渠道之间流量交叉，如何mece的将用户归给渠道？ 节奏强相关增长如何跳出唯流量论的目标体系，与内容有机的结合起来？ 03 制定增长方案 04 度量增长结论 精细化运营需要合理的价值评估作为归依，腾讯视频同时存 实验中台搭建之后仍有非标准实验，甚至不能实验的场景 在合约制收入、单点收入、硬广商业化收入、非标收入以及 标准实验不符合预设或者没办法做实验的情况下，如何进行 游戏联运等多种营收 科学度量？ 如何将营收归类，并拆分到用户，聚合到不同维度？ 02 UGin腾讯视频 2.1目标制定–平台IP双通道 NorthStarMetric：MAU、DAU NorthStarMetric：正片UV “认知” 未播放，相关用户 “心动” 播放专辑，预约、搜索 “消费” 有效播放正片 “上瘾” 深度播放正片 UG的使命：更全面的人群覆盖，更清晰的用户分群，更高效的资源利用，更科学的效果评价 用户LTV 用户ARPU 渠道级 用户级 平台级 以用户活跃流转为平台视角 以IP发行用户心智为内容视角 广告ARPU 会员ARPU 游戏ARPU 公允的价值评估，度量用户的平台价值 2.2流量归因–归因证据来源 主动上报采集 信息流广告数据下发流程 内渠流量 商店免费资源 三方下载渠道 一方采集 预装 根据首次启动出生渠道判定 二方下发 下发撞库采集 信息流广告 SEM 商店付费广告 根据末次点击判定（LAST_CLICK） 2.2流量归因–MECE的归因方式 新增用户 有预装标识 点击or预装？ 有点击证据 归因给预装 无点击证据 归因给点击 有点击证据 引入N、X、Y参数判定 界限参数N 是否预装作为treatment ΔT=新增时间T–开机时间T’ 当预装、非预装组激活率在某个ΔT后趋同，ΔT为N 归因参数X、Y 以是否点击作为干预，拆分预装用户中有 X%用户应该归因给点击，预装部分同理 无预装标识 归因给下载 无点击证据 2.3收益评估–收益拆分 解法：提出“DRU”概念，用以承载非活用户的会员营收 问题1：会员开通收入不以活跃为必要前提 解法：按照用户在APP内的访问场景进行分摊，一定程度上体 现游戏人群的价值差异 问题3：游戏联运收入难以拆分 解法：制定合理分摊逻辑，建立IP与内容播放的关联，体现用户消费不同头热IP在价值贡献上的差异 问题2：非标广告收入跟随IP如何分摊到用户 腾讯视频相对复杂的营收体系 2.3收益评估–LTV预估（1） 业务背景：1、广告投放的RTA过滤低质流量2、广告投放的动态出价3、增长策略的统一ROI调控需要我们有一套公允的、用户级的价值评估 业界方案： 2-stage建模：使用二段式树模型建模，第一阶段分类模型判别是否付费，第二阶段预测付费的具体金额。 2016Anengagement-basedcustomerlifetimevaluesystemfor e-commerce 概率分布建模：分布存在零值膨胀且金额服从对数正太分布，使用深度模型同时预测用户是否付费和付费金额。 2019ADEEPPROBABILISTICMODELFORCUSTOMERLIFETIMEVALUEPREDICTION 消费序列建模：用户的时序特征具有周期性，使用序列特征并加入趋势特征建模消费行为。 2021ImprovedCustomerLifetimeValuePredictionWithSequence-To-SequenceLearningandFeature-BasedModels 长尾分段建模：长尾分布的不同部分差异较大，直接建模长尾分布较困难，将长尾分布分段，建模难度降低。 2022Billion-userCustomerLifetimeValuePrediction-AnIndustrial-scaleSolutionfromKuaishou 依据不同业务的数据特点进行模块拆分，对不同分别建模， 最后使用stacking的方法将模型融合得到最终pLTV 腾讯视频业务特点： X月新增用户LTV90分布 会员LTV分布 广告LTV分布 由于会员付费率较低，会员的LTV有大量的0值用户，而会员的付费具有明显的长尾效应。会员LTV是典型的0值膨胀且符合对数正态分布。 广告的付费率较高，仅有少量用户为0值，有明显的单边长尾分布形态。与会员的分布有显著的差异。 效果评估 1.Gini系数：预测LTV增益曲线到对角线的面积/真实LTV增益曲线到对角线的面积，越高越好。排序能力判别，适用于人群圈选。 2.Decile均值：对预测值从小到大排列并分桶，观测真实值与预测值的桶内均值差异，越接近越好。校正判别，适用于人群圈选，个体价值判定。 3.MAE：真实值预测值的整体偏离度。个体误差判别，适用于个体价值判定。 MAE= σn i=1 |yෝi−yi| n 2.32.3收益评估–LTV预估（2） 会员模型：收入分布符合零值膨胀Lognormal分布，如果使用MSE损失函数模型会被少量的高LTV用户牵引，降低整体的预测能力，因此我们使用zero-inflatedlognormalloss来拟合分布。 ZILN损失函数的设计消除了大量纲对模型的牵引，提高模型的整体预测能力 广告模型：收入分布与会员差异较大，并不存在零值膨胀问题，付费率较高且长尾效应明显，为提高模型在不同分布和量纲上的感知能力，我们先用分类模型判断LTV所属的分布段，再在每个子分布段内建模。 分段多任务回归提高了不同分布范围内的回归能力，提高模型整体预测能力 业务收益：1、拉活投放ROI在不损失流量的前提下大幅提升（RTA）2、拉新投放边际流量在不提升成本的前提下大幅提升 2.4效果检验–实验中台与因果推断–效果检验SOP 染色率低 效果评估需求发起 可通过中台实现 实验评估 中台不可实现 转化节点过多导致命中实验的染色率过低，通 常见于策略实验上 指标是否预留 Y 标准化实验 N 非标实验 倾向性得分估算匹配 平衡性检查 不支持实验 场景无法部署实验，比如下发功能不支持或者部分资源位不可控 实验频率 高 低 因果效应推断ATE 风险过高 实验归档 改造需求实验归档 敏感性测试 全局实验会导致不可控后果，如一些付费业务或者可能影响用户体验的实验方案 2.4效果检验–实验中台与因果推断–案例实践 业务场景 使用因果推断原因 运营商一分钱开会员实验 实验渗透率低，实验指标不显著 IP发行投放实验（总vv/总时长/收入类指标） 实验渗透率低，实验指标不显著 活动小天数卡奖品下发效果评估 无法进行AB实验（下发功能不支持） 福利中心效果评估 无法进行AB实验（功能位不支持） 1、IP发行投放实验 2、福利中心效果评估 背景：在新剧运营期过程中，非会员比会员晚一周解锁最新剧集。预期以“提前解锁会员内容”为钩子，拉动用户播放时长。 问题：实验分流到用户用券转化率低，实验结果不显著 方法：对实验中的对照组以及用券成功用户进行matching找到同质人群之后按照因果推断的方式匹配实验组和对照组 成果：对专辑播放时长促进作用显著 （P=0.000） 背景：需要评估腾讯视频app的福利中心曝光之后对用户的质量提升 问题：入口无法进行实验分流 方法：以当月活跃中曝光福利中心的用户为实验组，未曝光用户为对照组，按照用户特征进行倾向性得分估算，并进行matching，输出ATE结论 成果：平台价值、用户消费有显著提升 Thankyouforwatching 更全面的人群覆盖 更清晰的用户分群 更高效的资源利用 更科学的效果评价