爱奇艺数据链路治理-DataFun

爱奇艺数据链路治理 演讲人：彭涛爱奇艺研究员 Contents 目录 问题和目标离线链路治理实时链路治理探索 01问题和目标 问题和目标 离线链路 • 目标 • • 问题 • • 准确性 时效性 • • 数据延迟数据异常 •异常检测 •任务阻塞 数据不一致 •上下游数据不一致–重跑工具 •同名不同义–指标系统 •数据源差异–统一数 仓 实时链路 目标 时效性准确性 问题 断流 流量突增突降 处理延迟消息堆积 数据链路长影响业务多涉及团队广 1.下游节点无法有效地获知故障源头 2.故障节点无法有效评估影响的范围 3.数据修复耗时耗力 02离线链路治理 任务监控 任务延迟 任务失败 数据链路 核心业务链路 自定义链路 数据稳定性 双集群HA ODS、反作弊、统 一数仓 离线链路 数据监控 投递质量分 常规指标 数据缺失、数据条数 字段空值率、有效性 核心指标 DAU、播放数据、会 员数据、收入数据 离线链路治理 任务稳定性–双集群HA 数据监控 爱奇艺数据质量平台 规则配置和归因管理 Pingback 报表 数据预处理通用数据格式 模型管理 阈值检测相关性 Prophet箱体检测 规则引擎 异常检测智能归因 模型训练 数据异常 工单处理系统 是否异常异常原因 样本库 高斯检测同环比 漏报样本 离线数据血缘 完善且高效的数据血缘是数据链路治理的基础 监控对象 •本项目核心节点 •外部项目主干节点 数据链路 业务入口 •核心链路大盘 •自定义链路 功能点 •合并节点 •查看各节点运行状态 •延迟明细 •分析历史数据 •自动抽取节点信息 03实时链路治理 实时链路治理 数据稳定性 ODS、DWD 双集群HA反作弊 热度、用户增长 快速切换 主备一键切换 自动切换 实时链路 实时链路监控 断流、突增突降 流量监控消费延迟、消息积压 主备流量差异 业务指标 反作弊热度 用户增长 服务监控 HBase CouchBase HiKV 实时链路治理–链路监控 实时链路大盘 备 dwd_bvv_pca 主 dwd_bvv_h5 主 dwd_bvv_mba 主 anti_bvv_pca 主 anti_bvv_h5 主 anti_bvv_mba 主 分剧集播放次数 主 分剧集播放人数 主 剧集热度 备 dwd_bvv_pcw 主 dwd_bvv_tv 主 dwd_bvv_h5play 主 anti_bvv_pcw 主 anti_bvv_tv 主 anti_bvv_h5play 主 分专辑播放次数 主 分专辑播放人数 主 专辑热度 04探索 探索 •数据异常智能归因 •根据专家系统自动检测异常的原因 •字段血缘 •精确评估数据对下游的影响范围 •流程管控 •阻断任务 •自动通知下游 字段血缘 通过字段血缘能够精确地评估数据的影响范围 探索–智能归因 异常报表 智能归因 分渠道 数据图谱 维度下钻管理 分启动类型 表关联维度关联指标关联 分版本 专家经验 DAU：渠道、启动类型、版本 播放次数：频道、播放 来源、版本、用户类型 归因引擎 异常原因 —THANKS— 感谢您的观看