美团外卖广告智能算力实践

Qcon 全球软件开发大会 美团外卖广告智能算力实践 林乐彬 林乐彬 美团资深技术专家 2016年加入美团，目前是美团外卖广告引擎架构负责人 曾前后任职腾讯，百度，有多年互联网广告相关经验 InfoQ Qcon 全球软件开发大会 大纲 美团外卖广告业务介绍 业务场景介绍 ·算力情况分析 ·智能算力核心思想 目标 ·技术解读 成果展示 总结 InfoQ QCon 全球软件开发大会 美团外卖广告业务介绍 列表广告展示广告营销广告搜索广告创新广告 附近商家发现好菜 Q一伍一拾满28减18 津贴余额：￥20 美团外卖·商机 Q烤串全面、真实、透明的品牌加盟信息平台 综合排序 销量速度 全部筛选· 品质 减配送费 牛肉串 烤肉串 满减优惠会员红包减配送费美团专送津贴帮你省更多 中国蘭州牛肉拉面吉罗家吉野家(金泰店)津贴已为您节省Y999.6品类筛选、门店数量投资金额 ★4.3月售1000+30分钟1.2kmHOSHIOM50减1099减20 起送￥20免配送费人均￥22 “真的味道好极了”匠百 金刚炸货殿.炸串炸鸡（望京..三只龙虾 4.8月售146848分钟4.8km 35减259减367减48.5折起首单减17 心年下单时津贴可膨胀 x1.8倍 起送￥20配送￥1￥5 3减2|39减7|65减12（95减18|130减25 准时宝 门店数量216家加盟费用0-5万元 免加盟费大连锁 免费加盟模式开启，大连锁低抽佣，包涵外卖专业运营是我们特色 品牌田老师红烧肉（亦庄天通泰店）限本页内享1单，最高再减5元 三只龙虾品牌是全国7家夜宵大连锁品牌之一，平台抽佣享受 田老师 月售4000 41分钟3.2km如坚23:30:45后失效 起送￥20配送￥2￥5人均￥21一守 “黄焖鸡太好吃啦，汤汁也足” O4350人关注查看详情 已领6元券30减650减257元无门槛红包 点击购买真·牛肉串（老客真·五花肉串（掌真·羊 ￥2.5￥2喜翻拌 鱼在江湖烤鱼饭（第14档口-鸡.. 全部饺子馄炖快餐便当汉堡薯条 附近商家发现好菜大尚龙虾·烧烤·秘制虾尾 门店数量57家加盟费用0-5万元 麻辣拌帮扶持帮选址 ★4.4月售1000+33分钟1.9k 起送￥20免配送费人均￥22￥20综合排序品类 速度全部筛选 智能排序销量优先评分优先速度优先 食4.8月售729630分钟2.3km 起送￥0免配送费￥5 吉林省知恩天成餐饮管理有限公司成立于2017年9月14日，以成为 吉林省餐饮业的代表性企业为愿景，致力于发展餐饮连锁事业 “烤鱼肉很嫩，味道不错”好好吃饭 已领19元券20减2059减27[71减34 满减优惠会员红包减配送费美团新店和府捞面(望京店)津贴膨胀下单再减5元安心商家10减10|25减2150减45 守护建贴 月售6328+起送?20配送￥3*64.78折 贵州大厦 O113599人关注查看详情 深小猴 梁小猴港式炒饭（聚八方美食城..◆暂无评分月售2★5.0分望京美食人气第一名29分钟2.5km 食4.6月售1000+30分钟1km起送￥30配送￥5美团专送60减30110减40含7元津贴6元无门槛红包 起送￥18免配送费人均?21点评高分店铺炭烤鲜嫩牛肉.炭烤签签小肉串.0炭 猴子的救兵 津贴膨胀1.8倍，下 “鸡排很好吃，很费首单减6￥4.78?40￥1.58×1.7￥2.9 智能点餐 猴子的教乒 门店数量139家加盟费用0-5万元 48减2375减3590减39津贴1元 InfoQ QCon 全球软件开发大会 广告业务场景介绍 典型的召回漏斗 广告检索链路 PV 优选 召回粗排精排创意机制 触发 LBS向量化召回召回 在线预估 商家端广告物料传输 InfoQ QCon 全球软件开发大会 算力情况介绍 资源使用情况 资源紧张 机器数量年增长率50% 总机器1w+ 算力和场景的关系算力 增加算力 业务场景 信息获取（如：推广搜） 业务性质：从海量候选集选择 得到更好的结果 非信息获取（如：交易类）无影响 增加算力业务性质：执行确定性结果动作 召回 广告业务性质预估 排序 算力增加候选队列越长广告收入越大 InfoQ QCon 全球软件开发大会 智能算力的核心思想 空闲资源利用 时间维度 流量 系统容量晚高峰 黄色区域为算力亢余 时间 差异化算力支持 流量价值维度 高价值流量无差别高价值流量 次高价值流量次高价值流量 次低价值流量次低价值流量 有差别 案 低价值流量 系统算力 低价值流量 系统算力方案4 InfoQ QCon 全球软件开发大会 智能算力目标 预估流量的价值 收入不变，机器资源降低 不同的召回动作 or取收益最大max(收入-算力支出) +机器资源不变，收入提升 使用不同的算力 提升算力利用效率 InfoQ QCon 全球软件开发大会 技术解读 整体思想 ·挑战分析 ·方案设计 InfoQ QCon 全球软件开发大会 技术解读-整体思想 思想：提高在广告检索过程中的算力分配效率实现单位算力下收益最大化 弹性通道弹性模型 通道通道 复杂简单大模型小模型 PID组件 多通道召回模型预估已上线系统状态稳定性 流量算力上报实时调控 低价值流量投放引擎 流量价值 智能算力 机制 召回粗排精排可选策略A可选策略B 分配动态候选 动态候选 高价值流量 集集 系统算力容量弹性队列弹性链路 基础链路 已上线短候选集长候选集可选链路 InfoQ QCon 全球软件开发大会 技术解读-挑战分析 挑战点解法 流量价值预估 问题求解 系统稳定性保障 智能算力的目标：是在系统算力容量约束下参考已有方案，问题拆解3个子问题流量算力预估 实现业务收益最大化，具体如何去做？算力分配 并针对外卖广告场景进行探索和改进 从固定算力分配到智能算力分配降级熔断、监控报警等常规保障手段 不仅需要保证智能算力框架本身的稳定性系统状态的实时调控功能 更需要保证系统全链路的平稳运行 通用性&扩展性 兼顾基础能力的复用和个性化能力的扩展 支持多个业务场景的友好接入 核心组件以SDK形式提供可复用可扩展能力 基于通用的价值评估指标、算力评估指标和弹性算力框架，支撑不同业务场景和多弹性动作的组合决策 InfoQ QCon 全球软件开发大会 技术解读-方案设计 算力框架 最优档位决策 系统稳定性保障 InfoQ QCon 全球软件开发大会 方案设计-算力框架 投放引擎系统状态上报 PV流量中控召回 粗排精排机制(FailRate/Tp999/CpuUtil) ↑↑个 mafka 决策组件弹性动作采集组件 最优档位决策 弹性队列 弹性模型弹性通道弹性链路（Flink流处理） 系统稳定性保已实现进行中 障决策组件redis 支持层决策层变更通知 采集组件 AB实验最优档位决策系统稳定性保障zk 数据收集调控组件 调控组件 监控报警人工干预 预估层 特征层 流量价值预估流量算力预估 上下文用户动作档位 （PID控制器） InfoQ QCon 全球软件开发大会 方案设计-最优档位决策 ·问题建模 ·决策框架 ·流量价值预估 ·流量算力预估 ·离线入求解 ·在线决策 InfoQ QCon 全球软件开发大会 方案设计-问题建模 业务目标：通过差异化不同价值流量的算力分配，在整体算力不增加的条件下，最大化整体收益 数学建模： max ---优化标：最大化价值 j*(i）：请求的最入：算力与价值的置 X求解 S.t.Xi,jcostij≤C约束条件：算力不增 优档位换比 xij=[0,1] 约束条件：档位范围 拉格朗日求解 j*(i)=argmax(valueij-Acostij) 局部决策（请求粒度）表述： 全局决策表述：总体算力约束下，最大化收益 对任意请求i，已知置换比入及其在不同档位下的算力和 价值时，即可进行最优算力分配 档位i：如队列长度子问题拆解 valueij：流量i在档位j下的价值（如cpm）入求解：离线仿真 costij：流量i在档位j下的算力（流量资源消耗）valueij，costij：模型预估 C：最大算力消耗（时间片内资源消耗） QCon 全球软件开发大会 最大算力C计算：统计模型 InfoQ 方案设计-决策框架 在线档位决策 jo,max(Valueij-αCostij)<0最优 在线阶段档位 请求i>*为最终决策的队列长度 >j*=j时将请求分配给简单模型 Valueij(k1*平台收入+k2*商家收入)Costi;(CPU时间) 决策结果 大小模型分配 队列长度截断 价值预估算力预估 离线阶段离线入求解 （流量回放） InfoQ QCon 全球软件开发大会 方案设计-决策框架-流量价值预估 整体框架 价值词表 特征 粗排模型 粗排打分 评估指标选取在线阶段 （平台收入+商家收入） 离线阶段 特征抽取/处理原始价值预估档位价值预估Valueij 请求在线插值请求i在所有档位下的价值 特征筛选/分桶模型训练分桶价值存储(KV) 训练数据 用户侧特征统计模型 离线阶段：数据的稀疏性上下文特征XGB模型 分桶-价值 数据分桶 统计模型->XGB 在线阶段 档位价值预估 动作档位特征 广告n 价值评估指标：平台收入+商家收入 原始价值预估：价值词表+在线插值 档位价值预估：粗排打分计算价值衰减 广告 广告3 被截断的广告队列 广告打分和为Sa=Zj<isnSi 广告2截断后的广告队列， 广告1 广告打分和为Sb=Z1<isj-1Si 广告价值越来越低 假设广告队列价值为原始流量价值为Vo，则截断后价值为V=Sa Sa+Sh InfoQ QCon 全球软件开发大会 方案设计-决策框架-流量算力预估 问题1：算力评估指标是什么？问题2：如何建模？ 拟合过程分析分段线性拟合 队列长度CPU时间契合业务：体现拆包 通用性不好通用性强 2000造成的算力突变情况 500 精确度低 精确度高 算力消 耗000 解决稀疏问题：从短 蓝色点为真实统计值队列泛化到长队列 500红色线为拟合结果 业内方案外卖方案队列越长，数据越稀疏 CPU时间适用于弹性模型/弹性链路中 501队列度250350400 1.业务特色：算力与队列长度非简单线性关系，队列存在拆包情况 2.外卖场景中，不同slot流量可能走不同ctr模型（如slot=12为闪购流量 InfoQ QCon 全球软件开发大会 方案设计-决策框架-流量算力预估 20002000 15001500 10001000 500500 统计结果 统计结果 0-0 分段拟合结果 0150200250300350400050100150200250300350400 queuelengthqueuelength 拟合前拟合后 》队列越长，数据越稀疏>从短队列泛化到长队列 InfoQ QCon 全球软件开发大会 方案设计-决策框架-离线入求解 目标：通过离线流量仿真，求解系统稳定且收益最大的 *可以证明：收益和算力随入单调递减 二分查找*最优入 最大算力消耗C 入上下界 输入 选择候选 离线流量 回放 输出 最优 当前入下每个请求的最优档 位 收敛阈值e统计当前 算力消耗 infoQ QCon 全球软件开发大会 方案设计-决策架-在线决策 动作&档位选择 argmax(Valueij-ΛCostij),max(Valueij-ΛCostij)≥O jo,max(Valueij-Costij)<0 valuei.j：预估流量价值costij：预估流量算力入求解：离线求解，在线使用 根据档位执行算力分配动作： 当max（Valueij-^Costi)≥0，即最大档位对应的收益大于等于o时，选择使得收益最大的档 位 当maxValuej->入Costi)<O，即最大档位对应的收益小于O时，将请求分配给简单模型 InfoQ QCon 全球软件开发大会 方案设计-系统稳定性保障 常规保障措施 流量准入：熔断降级超时控制： 提供分广告位、城市、时段等不同流量准入实时监控弹性算力的异常，达到配置的异常阈值为保障主流程整体链路耗时不增长，弹性算 规