网易数据指标监控实践 乙峰 网易(杭州)网络有限公司 目 01网易-指标体系背景 02网易-指标体系建设方法 录 03网易-指标体系举例 04网易-指标体系定义 05网易-指标监控体系 网易集团TOB企业服务品牌 定位于领先的数字化转型技术与服务提供商 来自哪里 网易关系 使命与愿景 背靠网易杭研 网易技术科研和创新应用的前端 网易集团业务公共技术支撑团队网易技术对企业客户开放的接口 TOB业务排头兵 隶属数字产业事业部,垂直企业 数字化转型技术与服务领域。 与网易智企、网易灵犀办公、网易伏羲共同担当网易TOB业务 品牌使命 帮助所有客户成功实现数字化转型 品牌愿景 成为客户首选的数字化转型技术与服务提供商 网易数帆大数据的发展历史 2006 分布式数据库、分布式文件系统、分布式搜索引擎,三驾马车支撑了网易互联网2.0时代的产品 2014 大数据平台猛犸、网易大数据(有数)上线,加速了大数据规模化应用 2018 网易严选、考拉、音乐、新闻等业务相继开始数据中台构建,网易数帆发布“全链路数据中台”解决方案 2022 网易数帆发布数据治理和数据开发一体化“数据治理2.0”解决方案 2009 开始基于Hadoop做数据 分析以及运维 2017 网易数帆大数据正式对外 商业化 2020 网易数帆提出“数据生产力”理念,倡导“人人用数据、时时用数据” 众多权威资质认证与外部荣誉认可 国家级组织资质 国家高新技术企业 国家规划布局内重点软件企业国家企业技术中心 国家级博士后科研工作站 大数据技术认证资质 国家工业信息安全发展研究中心评测鉴定所国产化测试 信通院商务智能工具基础能力国产化评测华为鲲鹏技术兼容性认证 达梦技术兼容性认证浪潮技术兼容性认证麒麟技术兼容性认证 权威三方机构及媒体荣誉认可 教育部科技进步一等奖电子学会科技进步特等奖 《Gartner2022中国中国分析平台市场指南》数据分析代表厂商 《Gartner2021中国ICT技术成熟度曲线》数据中台领域标杆厂商 《Gartner2020中国ICT技术成熟度曲线》数据中台领域标杆厂商 《Gartner2019中国ICT技术成熟度曲线》CloudABI领域标杆厂商 中国长三角数字经济大会“数字经济优秀案例企业”思否SegmentFault中国技术品牌影响力企业 海比研究院综合中台优秀企业奖2019CCFTop10大数据应用最佳实践案例入选信通院数据治理产业图谱1.0 入选艾瑞咨询2022中国数据中台行业研究报告 省级组织资质 长江计算技术兼容性认证 OSCAR尖峰开源技术创新奖(二次开发) 入选艾瑞咨询《2022年中国制造业数字化转型研究报告》 浙江省重点企业研究院浙江省企业技术中心 浙江省数字工厂标杆企业 浙江省民营企业数字化转型促进中心浙江省云计算和大数据省级企业研究院 人大金仓技术兼容性认证 SelectDB技术兼容性认证 大数据团队资质 产研团队成员来大多来自瑞典大学、浙江大学等国内外 知名院校,硕博比例超过80% 浙江省大数据应用服务创新奖 2022CCF大数据与计算智能大赛优秀案例奖 信通院大数据'星河'案例-行业大数据应用优秀案例2022爱分析国央企数字化最佳实践案例 DTCC第十一届中国数据库技术大会创新产品奖InfoQ2021年度最具价值技术团队奖 入选InfoQ中国技术力量年度榜单 入选e-works-中国制造业SaaS服务市场生态地图入选爱分析数据智能应用实践报告 入选爱分析数据智能厂商全景报告 入选互联网周刊2022数据中台TOP50 入选中国大数据网2022中国大数据分析行业研究报告 大数据系统软件浙江省工程实验室 多名ApacheCommitter技术专家 华泰证券2021年度金融科技最具创新成果奖 入选字母点评2022中国数据分析与商业智能平台采购指南 浙江省网易大数据重点企业研究院 管理体系相关资质 ISO27001信息安全管理体系认证 业务咨询团队扎根行业多年,为百余家头部企业提供咨询实践服务 2021数博会“十佳大数据案例” 2021长三角金融科技创新与应用大赛“中国金融科技·最佳供应商”数字化观察网金数奖2021年度最具影响力数字化服务商 国家或行业标准制定 入选2021“科创中国”开源创新榜 ISO20000信息技术服务管理体系认证 ISO9001质量管理体系认证 CSASTARCertification2013服务管理体系认证 CMMI(三级)认证 《数据治理工具图谱》,全国信息技术标准化技术委员会大数据标准工作组 《数据中台能力模型》,中国通信标准化协会大数据技术标准推进委员会 《DataOps成熟度框架》,中国通信标准化协会大数据技术标准推进委员会 《大数据标准化白皮书》,全国信息技术标准化技术委员会大数据标准工作组 《数据资产管理实践白皮书(6.0版本)》,中国通信标准化协会大数据技术标准推进委员会 网易-指标体系背景 如果你不能度量它,就无法改进它 业务运行过程中会产生大量的数据,但数据不是指标。好的指标标准是:能够快速展示业务-向外,能够准确反馈引导业务-向内,它要 为回答一个根本的问题讲述完整的故事 网易-指标体系背景 业务板块 维度 业务过程 数据域 pay_item_amt_1d最近1天商品销售金额 度量 派生指标 原子指标 修饰词 时间周期 修饰类型 业务过程 修饰词 度量时间周期 属性 网易-指标体系定义 业务含义 表达什么业务过程的度量 在哪些维度上会有派生 指标定义 •唯一性的数据语言定义 逻辑清晰,可实现 计算逻辑 数据来源 数据统计时间范围 …… 面向业务专题 面向业务专题,能够直 观反馈业务变化,建立 业务量化衡量标准 有组织关系的 指标之间有关联,网状非线性 体系 有边界的指标 跨主题域,有边界 可产品化 报表、数据产品等形式直观展示 网易-指标体系举例-用户增长流水 用户增长 支付用户数用户ARPU 新客/新消老客 投支付用户数 放 渠回 人均 支付订单数 笔单价 道新访新消老访新消 访【重塑期】:1单老客召回率率【新手期】:1单->2单复购率 商品单价订单连带率 拉新收益 新客成本 激活成本 新客365天 履约毛利额 新访UV 量) 新访次日/7日回访UV留存率 总访问UV 支付转化率 各步转化率 访问 商详加购支付 (新增激活 新访转化率老访未消UV 老访未消转化率 【养成期】:2单->3单复购率 回【成熟期】:3单->5+单复购率访 新增付费会员人数/付费会员支付率付费会员续卡率/付费会员年价值 支【超级用户】:付费会员人数付 率 价格带分布受促销方式影响 重点运营机会点 用户相关的指标都会涉及复杂的去重逻辑,关注数据前线关注去重逻辑 1UV价值 网易-指标体系举例-商品销售 履约毛利额 商品销售 额/销量 财务毛利额商品销售 履约费比 售额 折扣率名义毛利率1SPU销 动销SPU数 持有成本占比 流通成本占比 促销方式 商品成本占比 商品定价商详访问 UV 商详转化 1UV销售总SPU数商品动销率商品缺货率 额 连带率件单价 库存管理 【拆单率】 【本地最优仓满足率】 【订单件数(拣货费)】 单商品促销多商品促销全场类促销全场类权益 商品结构 商务降本 严选模式 率 用户路径分析 库存量/成本库存周转率/天数 库存售罄率 平均采购周期 新品:1SPU销售额 老品:1SPU销售额 用户身份类 网易-指标体系-建设方法 OSM模型,一层层的拆解指标,对应到具体的、可落地、可度量的业务策略上,从保证指标体系分析结论和执行反馈都是具体可执行的 确定业务目标-O 确定业务目标-Objective 所选目标可以真正反映公司的/业务的经营策略 细分业务策略-Stategy 有组织的,可落地的进行子目标的拆解 确定衡量指标-Measurement OSM模型 细分业务策略-S 确定衡量指标-M 设计量化指标进行评估 网易-指标体系建设过程 场:业务场景人:相关方货:指标体系 商品 销售 居家生活宠物生活服饰鞋包美食酒水运动旅行母婴亲子 9大 商品组 用户增长 • 会员运营 投放渠道 会员养成 3大 板块 搜索推荐 搜索推荐取数需求临时需求 100项+ 数据开发 架构师 业务B方A 报表1 模块1 报表2 体系 产品1 模块2 产品3 … 营销指标体系 KPI指标体系 指标体系 会员指标体系 供应链指标体系 网易-质量中心规则 质量监控的核心是监控规则,规则是定义检测数据是否符合期望值的查询语句,比如表行数大于>1W、id字段不能为 NULL等。 按创建方式划分 模板规则 自定义规则 标准/元数据推荐规则 按监控对象划分 字段级 跨字段级 表级 跨表级 按规则控制划分 强规则 弱规则 按校验类型划分 有效性 完整性 准确性 一致性 唯一性 及时性 ADS 主体 数据仓库 DWS DWD ODS DIM 客户业务汇总 客户基础信息组合 合同 合同汇总表 协议合约资产 产品域 产品汇总表产品代码 账户 交易 交易汇总表交易流水明细 账户 总账汇总表账户明细 交易 支付 渠道 资产 资产汇总表持仓信息 开户 渠道域 渠道汇总表渠道基础信息 机构 营销域 活动汇总表 活动明细凭证 大数据底座(Hadoop/MPP) 开放API集市 新建API 向导模式脚本模式 注册API 源API格式其他格式 服务编排 复杂业务逻辑 API在线升级 版本历史管理 API安全 Token&App鉴权 数据采集 数据填报 统一补录平台 ...... 数据来源交易系统TAFACRM外部数据 批量数据传输 网易-指标监控体系 VIPAPP-移动数据工作台 神相-用户行为分析平台 大麦-商品数据运营平台 刑天-推广渠道管理系统 河洛-智慧供应链系统 业务指标监控 指标管理 监控类型 接口管理 报警策略 指标注册 指标定位 指标引用 指标类型 定时执行 应用触发 任务调用 手工执行 接口注册 变量管理 接口解析 …… 持续报警 单次报警 三次关闭 …… 网易-指标监控效果 THANKS