施检军-抖音集团指标管理和消费体系实践

抖音集团指标管理和消费体系实践 抖音集团数据BP专家施检军 DataFunSummit#2024 施检军数据BP专家 •主要负责数据资产建设和决策支持等工作 •专注于大数据研发、模型设计和数据治理等多个领域，致力于通过创新的数据解决方案提升业务效能 埋点流量 超1亿TPS 指标数超 27000个 平台管理的数据量几年前已超过 EB级 日作业量 百万级别 01/指标建设的痛点 目录 Contents 02/指标管理实践 03/指标生产实践 04/指标消费实践 05/未来规划 01指标建设的痛点 探索期 成长期和成熟期 业务发展阶段 目标快速迭代和业务导向 主要难点需求评审和交付周期 数据质量和效率 •指标管理不统一 •指标口径不统一 •指标消费不统一 指标消费 指标管理 指标生产 指标专题：取数服务接口和元信息消费接口 查询配置 分类管理 专题管理 指标一致性保障方案 协作流程 组织设计 指标定义 指标拆解 基础信息 数据质量&稳定性保障方案 粗粒度汇总层 轻粒度汇总层 明细中间层 指标体系解决方案 愿景：通过指标服务模式提供稳定、可复用的数据产品。 数据应用 创作者中心 管理驾驶舱 运营中心 资产门户 02指标管理实践 持续保鲜问题 设计协作流程 一致性和准确性问题 产品化，操作手册 效率问题 •运动式专项 •权责不清晰 •同名不同义 •同义不同名 •指标间冲突，A+BC •指标定义效率 •指标拆解效率 结合事前沉淀和事后沉淀，遵循谁开发谁拆解录入的统一原则 业务指标 业务指标的负责人一般为业务DA，定义指标口径，统一对业务方提供业务逻辑解释 指标的重要性是演进过程，自下而上建议哪些指标是核心指标 技术指标 技术指标遵循谁拆解谁录入谁负责的原则,一般技术指标的录入为业务BP同学，非BP同学无权限录入 所有指标录入前业务BP同学需要拉数据域基建BP同学统一评审，确保指标录入准确 基础元素管理 基础信息的维护统一由公共层数据BP同学负责录入和管理 定义指标拆解规范产品功能唯一性校验 指标唯一性校验 原子指标/修饰词相似性校验 指标管理的取舍 1.聚焦核心指标，”所有指标都管理也就是没管理” 2.应用层数据BP效率优先，短视频业务指标后置拆解 提升指标拆解效率方案 1.梳理业务过程,沉淀业务过程/原子指标/修饰词 2.沉淀指标生产操作手册和指标树 BI业务指标需求 （20个指标） 决策看板 （2个核心指标） 驾驶舱 （2个核心指标） 应用层数据研发 Hive表 异步治理 Clickhouse表 指标被管理 异步切换 复用 指标系统 Hive表Clickhouse表 异步切换模型 公共层数据研发 指标下沉 数据公共层表 03指标生产实践 整体链路设计 明细中间层 轻粒度汇总 粗粒度汇总 封装公共指标逻辑复用计算 轻粒度汇总 1.覆盖尽可能多有用的维度 2.需要考虑性能和成本，比如视频*用户数据量压缩较少，ROI较低 3.业务过程一般选择单过程，如果多个过程总是联系在一起也可以放一起 粗粒度汇总 1.一般选择3个左右维度为宜，更多维度对性能的提升有限，可以直接走轻粒度汇总 2.下游使用时粗粒度汇总是首选 关键问题 明确保障对象和内容 •有哪些：产品模块梳理 •谁负责：明确每个模块的产品，开发，DA •保障标准：产出时间，用户体验等 工具化和平台化赋能 •全链路血缘：模块关系，消费情况，协同依赖 •日常化：结合飞书群对异常告警播报和推送治理 关键问题 上游管理难：上游链路多&保障能力不同，一般占整体故障的40% 保障如何做到日常化：存在反复，阶段性优化后效果显著，一段时间后稳定性变差。 03指标消费实践-构建官方指标专题 什么是指标专题： •指标专题是指标和维度的集合，承载业务方向指标体系化生产、信息呈现、数据应用的底层工具。 指标专题的优势： •搭建成本：灵活的目录结构管理，按数据模型一键添加指标/维度，可以以较低成本完成专题冷启动。 •找指标：快速理解业务线核心指标体系、量级。指标详情页信息，基本信息、数据探查、消费渠道信息一目了然。 •跨集群、跨数据源：专题指标查询基于指标服务能力实现跨集群、跨数据源。 •模型路由优先级：基于模型的稳定性、时效性、指定优先路由的数据模型。 面向对象：是面向指标消费者（产品、运营、分析师、战略等）查找指标、理解口径、使用指标（包括已有看板等）的入口，提供指标综合搜索、面向应用场景的专题应用能力。可根据业务需求开辟专题空间，收敛核心指标信息 管理特点 目录结构设置灵活：支持管理员按业务需求定义指标专题，以及专题下的分类目录，确保业务指标体系清晰展现 权限分级收敛：专题信息由管理员统一维护，保证信息的可靠性；支持多角色设定：业务线管理员、指标专题管理员、专题下指标分类管理员，保证操作灵活性 指标导入简单 管理员预设目录结构，方便指标结构化管理和消费 支持定义指标级别，高优展现高阶指标 页面可作为业务模块指标体系直接分享 业务详情页 展示基本指标业务信息、近期数据、关联的高热看板 技术详情页 展示技术口径，以及关联数据模型 消费血缘 展示指标血缘关系，方便追溯数据加工流程 决策看板 基于专题内所有指标，可以和风神直接打通搭建风神数据集， 自助取数 ChatBI大模型：基于专题进行对话式的自助取数、问数。 日报推送 通过百宝箱配置进行日报归因推送 04总结展望 愿景：致力于转变传统的数据交付方式，通过指标服务模式，提供稳定、可复用的数据产品。我们的目标是构建一个能够深入洞察业务并迅速定位问题的指标服务体系，以支持高效的决策和运营。 规划 指标生产：标准化->配置化->自动化指标生产 指标管理：大模型自动化指标拆解，指标可理解性增强 指标消费：一体化数据架构，一处定义多处消费 进入火山引擎DataLeap官网了解更多产品信息 个人微信 THANKS DataFunSummit#2024