手游量子智能广告系统基于云原生 OLAP 的应用实践

37手游量子智能广告系统基于云原生Olap的应用实践 演讲人：徐玉立37互娱数据架构师 Contents 目录 业务背景量子系统建设实践 37手游OLAP演进 未来展望 0137手游的业务背景 全球TOP20上市游戏企业，2022年营业收入164.06亿元，境内业务收入104.12亿元，境外业务收入59.94亿元（同比增长25.47%）。 迄今为止，37手游累计运营逾2000款手机游戏，以近10%的市场占有率占据国内手游TOP3位置，成功独立发行《永恒纪元》《精灵盛典:黎明》《斗罗大陆：武魂觉醒》 《斗罗大陆：魂师对决》《云上城之歌》《谜题大陆》《大天使之剑H5》等优秀作品。 《云上城之歌》： 2022年海外发行商在韩国市场收入最高的手游 2022年中国手游日本市场手游收入增长榜第3名 数据化 流量经营 通过数据驱动决策，实现流量经营的精细化 工具化 智能化 重视工具的应用和创新，通过工具的智能化和自动化，提高流量经营效率和回报率 重视人工智能的应用和创新，通过人工智能的技术和算法，实现流量经营的智能化和个性化 量子系统核心模块 资源管理 对素材、人群包、落地页等资源进行管理，方便后续进行分析和重复利用 数据管理 计算投放效果，对广告计划进行数据分析 投放管理 通过自动化投放以及智能投放工具，代替人工进行自动化的投放 创意数据分析 效率提升工具 批量化与自动化 自动化对账 •数据管理 •定制化报表 整合媒体数据与内部转化数据，搭建自由素材创意库，辅助创意团队进行创意升级，提升转化率 •人群包推送 •转化ID推送免联调 实现自动打APK包、自动打监控链接、自动配置参数和活动组， 自动创建广告计划等功能 •投放预警 •自动规则 •批量操作计划 快速提升广告投放速度，并实现投放业务“7x24小时”的批量化与自动化 •账户管理 •人效管理 自动化对账，全流程无需人工参与，实现财务数据自动化对账，成本与效果的核算。自动化充值，只需审批充值，即可自动到账 海量数据计划机器学习产生模型 无需人工，更优的选择，某渠道1月份 70%的提升 使用哪些素材 使用什么样的人群包使用哪些账号投放竞价方式如何 何时创建计划 什么条件下关停计划何时调整计划 循环反馈 智能化创建优选和维护 技术和业务以及数据的深度融合 将机器学习、大数据分析以及前后端 技术，深度结合业务，打磨产品 自动化和批量化投放 “7X24”小时的自动化和批量化投放，比 起传统的人工投放，在效率上实现了飞跃 智能化投放 引入机器学习，在自动化投放的同时实 现更智能化、精细化的投放效果 智能化投放系统“量子”带来的业务价值 人效提升 ROI提升 快速反应流量机会 节省2/3时间成本 提升5%利润率 消耗提升30% 智能投放工具极大 提升投放效率 智能监控以数据驱 动广告业务增长 智能创建实时创建 和调控优势有潜力的计划 1 2 3 数据架构 01 02 03 04 数据量大 对接所有国内主流媒体，日投放计划3W+ 指标计算复杂、指标多 指标计算逻辑复杂，指标数量多 计算延迟要求低 广告实时投放、实时监控、实时调整，对计算延迟要求在秒级 高可用要求高 涉及面广，一旦出现故障，损失巨大。对高可用要求 02 ClickHouse Flink+Hologres，数据计算 与查询分离 01 Mysql Hive+ClickHouse，微批计 算延迟高，运维复杂 03 Hologres 数据量少、指标计算简单 实时olap性能高 列存格式配合多种索引，交互式分析性能高 支持binlog机制 支持订阅HologresBinlog，方便使用flink进行计算 fixedplan优化 •行存点查使用fixedplan，点查性能好 •数据实时UPSERT 主从实例读写分离 主从实例读写分离，并分离部署，主从实例之间计算资源不共享 数据延迟 数据实时计算写入延迟分钟级，控制在1-2分钟内，性能提升15%左右 实时olap 30天内数据实时olap查询P99耗时5秒内，性能提升30% 计算链路 计算链路缩短1/5 痛点 平台多 impala、druid、ck等，运维复杂 数据乱 数据同步多、数据重复 管理难 权限、资源隔离等管理成本高 •impala、CK都不需要了，holo都能满足，且只需要写一份数据 •数据量小，查询频繁，对延时敏感，使用holo内表 •数据量大，对延迟不敏感，使用holo外表 •负载隔离，故障隔离，可实现多实例高可用方案 1 AIGC •通过AIGC技术，快速生成大量的特定画风的广告素材图片或视频，减少广告创意的制作周期和成本 2 计算组实例测试验证 •测试hologres的计算组实例功能以用于解决多业务间的写写隔离以及更加精细化的资源隔离 3 素材分析优化、素材推荐 •通过机器学习和推荐算法，根据用户的兴趣和偏好，智能地推荐合适的广告素材，提高广告投放的效果和回报率 —THANKS—