爱奇艺-梁建煌-爱奇艺大数据平台四化建设之路

爱奇艺大数据平台“四化”建设之路 梁建煌 www.top100summit.com 讲师简介 梁建煌 爱奇艺大数据总监 2012年硕士毕业于上海交通大学 “ 2013年开始负责爱奇艺大数据服务体系的建设工作，从0到1搭建起爱奇艺大数据存储、计算、OLAP数据分析、机器学习以及多个自研大数据平台等整套大数据体系 ” www.top100summit.com 目录 •爱奇艺大数据现状和挑战 •爱奇艺大数据平台建设实践 •未来规划 爱奇艺大数据应用场景 看过去 知未来 Makedata-drivendecisions 报表、内容运营、会员运营剧集热度 Builddata-poweredproducts 搜索、推荐、广告用户增长、收入预估 www.top100summit.com www.top100summit.com 爱奇艺大数据体系 基础架构 •数据采集 •存储 •计算 •数据分析引擎 数据平台 •数据开发 •数据分析 数据服务 •数据仓库 •数据指标 数据应用 •报表 •运营 •搜推广 www.top100summit.com 大数据面临的挑战与需求 规模瓶颈 数据治理 实时性要求 开发门槛高 智能化需求 规模化 数据规模增大，IDC瓶颈 规模化 体系化 数据质量差、数据源分散、安全权限混乱、缺乏生命周期 实时化 海量数据、低延迟 体系化 智能化 大数据生态服务多，学习门槛高数据智能应用 爱奇艺大数据“四化”建设 规模化 混合云分层存储分级计算 实时化 数据湖 高性能OLAP缓存加速 体系化 www.top100summit.com 数据总线流批一体统一入口数据治理 智能化 DataforAIAIfordata www.top100summit.com 规模化 混合云分层存储分级计算 www.top100summit.com 爱奇艺大数据平台规模 20+服务 1.5+万台服务器 600+PB 数据存储 百万核计算能力 如何应对规模化挑战？ 挑战方案 机房瓶颈、集群瓶颈数据规模、存储成本计算规模、计算成本 混合云IaaS分层存储分级计算 www.top100summit.com iQiyiBigdataComputingScheduler 统一计算调度-QBCS 爱奇艺混合云IaaS 阶段1：分集群 •7个大集群，各自独立，元数据割裂 •数据依赖靠离线跨集群同步 •数据冗余、等待时间长、使用不便 www.top100summit.com 实时弹性 私有云 YARN+K8S 公有云 K8S 阶段2：跨AZ统一 iQiyiBigdataFileSystem 统一大数据存储-QBFS大数据文件系统 •同城双活：两个大集群 •存算分离 •统一元数据、跨AZ统一调度 实时同步 私有云 HDFS 公有云对象存储 阶段3：私有云->混合云 •部分存储、计算弹性到公有云 •跨AZ统一调度->多云调度（建设中） 分层存储 数据生命周期1.0 智能分层存储 混合云存储 HDFS (3备份） HDFS+EC编码(1.5备份) 公有云对象存储 HDFS (3备份） 公有云对象存储 HDFS (3备份） 公有云对象存储 （评估中…) 公有云对象存储 缓存提速25倍缓存 热节省计算资源热 成本降65% 热 温温 成本降11% 冷冷 冷 冷热两级模型（粗放型）人工配置TTL 四级模型（精细化治理） 根据数据热度应用不同存储策略综合成本降38% 温存储上云（弹性伸缩）增加资源灵活度 www.top100summit.com 分级计算 … 潮汐计算 白天低谷、凌晨高峰物理机，无法弹性 弹性计算 离在线混部：YARN+K8S，超分+全天候实时弹性，每年节省数千万元成本 OLAPonK8S：支持重要活动期间临时扩容 分级计算 根据计算任务特性调度到独占、抢占、混部等不同的计算介质 混合云计算 弹性伸缩 多云统一调度 www.top100summit.com www.top100summit.com 实时化 数据湖 高性能OLAP缓存加速 数据量增长的同时，满足“快”的实时化需求 加速数据流通，数据端到端实时、新鲜 实时热度、实时分发、实时运营 数据查询低延迟，取数快 数据生产 快 数据使用 助力分析师快速查询，供决策者及时决策 www.top100summit.com 时间就是金钱 数据生产加速：数据湖+流批一体 优缺点适用场景 离线 HDFS 离线数据开发平台 离线数仓(Hive) new Pingback投递 近实时 近实时数仓(数据湖) 实时 流数据服务平台 (Kafka) 实时计算平台 实时数仓(OLAP) 小时级~天级延迟成本低 PB级容量 分钟级延迟性价比高 PB级容量，可以存放较久数据 分钟级延迟成本高 TB级容量，只存放近期数据 报表 核心指标 运营：广告、会员实时监控：直播大盘 Adhoc查询分析 流式数仓(Kafka) 秒级延迟成本高 只存放最近几个小时数据 实时广告实时推荐实时热度 www.top100summit.com OLAP独立集群 Kafka 实时写入 Kudu Impala Hive 公共集群 Hive 独立集群 业务案例：广告算法链路加速 离线同步 原通路： 广告算法 Iceberg Trino •存储冗余，成本高（独立集群） •扩展性差，查询服务瓶颈 •运维复杂：Kudu+Impala •延迟高：Spark流任务 新通路： •流批一体，成本低（onHDFS） •支持更高的查询QPS •运维简单：仅查询引擎Trino •延迟低：FlinkSQL任务 效果： •时效性提升7.6倍：端到端延迟43分钟缩短到5分钟 •广告增收数千万 www.top100summit.com 数据使用加速：OLAP引擎体系演进 2013~2015 离线分析上大数据 2016~2020 多样化实时化 2021~ 引擎升级缓存加速 123 Pilot 智能SQL引擎 实时分析 运营 自助查询 报表 Pilot 智能SQL引擎 实时分析 运营 自助查询 报表 MySQL GB级查询亚秒级延迟 报表 应用 Trino灵活查询秒级延迟 SparkSQL 灵活查询分钟级延迟 Kudu列式存储实时分析 HivePB级查询分钟级延迟 HivePB级查询分钟级延迟 ClickHouse 明细查询秒级延迟 Druid时间序列秒级延迟 Impala灵活查询秒级延迟 HivePB级查询分钟级延迟 查询引擎 Kafka 实时数据 Iceberg 近实时数据 HDFS 离线数据 Kafka 实时数据 HDFS 离线数据 HDFS 离线数据 存储 传统数据库->大数据 场景单一：离线分析、大容量 场景多样化：离线分析、实时分析OLAP引擎多样化，满足不同场景需求 HiveSQL切换到SparkSQL：提速67% 引入Trino、ClickHouse（成本比Druid节省73%）Trino+Alluxio缓存加速：提速25倍 www.top100summit.com 业务案例：会员运营平台分析加速 2022Q2以前 阶段原始（Hive） 2022Q32022Q42023Q1-Q2 切换SparkCK小试牛刀CK全面升级 从Hive引擎升级到 指标SparkSQL引擎 从离线到交互式查询 分布式JOIN改本地JOIN优化主键设计 配置物化视图 简单指标 订购数兑换收入客单价 ...... 复杂指标 LTLTV ARPU值 ...... 运营 27分钟7分钟40秒1秒效 率 提升10 以 4小时15分钟4分钟40秒倍 上 www.top100summit.com 体系化 www.top100summit.com 数据总线流批一体统一入口数据治理 体系化目标：打通数据流程 找数据处理数据用数据管数据 数据总线 数据快速入湖 LakeHouse 数据湖+统一数仓统一元数据中心 数据服务 统一指标统一数据接口 数据应用 运营决策用户增长信息分发 www.top100summit.com 统一数据生产、统一数据治理 找数据：数据总线 播放 点赞 关注 评论 创作 数据源 Pingback 消息中间件(Kafka) DB 服务日志监控数据 Anchor 统一元数据中心 支持Hive、MySQL、ClickHouse、Kafka等数据源 提供数据血缘 数据集成 离线：BabelX 基于Spark支持15种数据源 多集群、多云间同步 实时：FlinkCDC www.top100summit.com www.top100summit.com 处理数据：流批一体 层面 旧架构 新架构 进展 存储 HDFS+KafkaHive+KafkaHive+KuduHive+HBase 数据湖 进行中 计算 MapReduce+SparkStreamingMapReduce+FlinkSparkbatch+Flink Flink 探索中，依赖Flink社区进展及其稳定性 开发流程 离线开发+实时开发 实时开发 进行中，针对数据量大、近实时延迟的场景 用数据：统一入口 统一SQL入口 屏蔽底层服务统一数据模型开发和查询统一数据标准统一可视化自助 Pilot 智能SQL引擎 魔镜 即席查询平台 统一指标系统运营分析平台 www.top100summit.com SQL化平台化服务化自助化人人都是分析师 管数据：数据治理 资产管理 制定资产定级方案，针对不同级别的数据设定相应的TTL、监控 和保障机制，方便盘点数据，优化数据体系 资源评估 根据数据资产等级和使用情况，对数据的存储资源和计算资源进行分析，优化资源利用率 生产保障 依据数据资产的等级，对相关的生产进行保障和优化，确保数 据输出的及时性和稳定性 质量治理 根据资产等级设定不同级别的质量要求，通过检测和优化，不断提高数据质量，提高数据使用效果 数据监控 数据问题的一种自动化检测机制，通过制定合理的监控策略， 能够及时暴露数据异常 使用审计 记录分析数据的使用情况，帮助数据owner和管理者清晰的了解数据的收益，对数据误用、错用进行合理管控 数据安全 根据数据安全等级，对数据进行分级管理，避免敏感数据的泄 露，提高数据安全性 权限管理 对用户进行细粒度的权限管控 www.top100summit.com www.top100summit.com 智能化 DataforAIAIfordata www.top100summit.com Bigdata+AI •DataforAI：大数据是AI的原料，需打通BigdatatoAI流程 •AIfordata：利用AI工具提升数据效率 推理 模型评估 模型训练 特征/样本生产 数据预处理 外部数据 用户日志 DataforAI：流程割裂 使用方式 •数据预处理跨平台，离线Babel,实时RCP •编写HiveQL生产特征 引擎日志 •Excel/Wiki登记维护特征 •单机或自建集群 •依赖数据从HDFS下载到本地 •手动评估训练结果 •无模型指标对比、可视化 问题•任务多平台维护 •无法关联到模型 •缺乏统一的特征管理 •数据质量难以保证，排障困难 •特征生产耗时长，时效性低 •训练速度慢，扩容困难 •代码开发周期长 •缺乏模型统一管理 •缺乏训练指标收集/管理 •线上效果无法关联 www.top100summit.com 主要痛点:流程割裂，特征、模型、效果互相未打通 推理 Opal大数据机器学习平台 模型评估 特征/样本生产 数据预处理 模型训练 打通BigdatatoAI流程：Opal大数据机器学习平台 用户日志 外部数据 引擎日志 方案 打通大数据开发平台 开发特征引擎 生产算