哔哩哔哩数据服务中台建设实践

2023DataFunCon BILIBILI数据服务中台建设实践 演讲人：孟帅帅—哔哩哔哩—资深开发工程师 Contents 目录 建设背景中台框架实践方案成果&规划 01建设背景 !'(& *+,- )6789 !#$%& !=>& .2345 获取:“upID”+“收⼊” &B60C ?@A< DEFG !#$%) ./01 !'() *+,- !:;< 背景 成本⾼ •数据应用路径长，沟通成本高 •多种角色重度参与，人力成本高 •模型重复建设，资源开销大 治理难 •数据链路不清晰，上游数据变更无法评估影响 •数据质量监控不到位，质量问题难以发现 •不同链路，口径难以对齐，用户理解成本高 背景 … 需求A 需求B 需求C 需求N SQL⼿动取数 RD定制开发 RD定制开发 RD定制开发 HiveMySQLIcebergTiDBCK 数据产品N 数据产品C 数据产品B 数据探查 ⽤户A⽤户B⽤户C⽤户N 重复建设 •数据重复存储、消费，资源浪费 •功能重复建设，人力资源浪费 低效交付 •烟囱式开发、服务质量不可控 •交付标准不统一，数据使用效率低 统一定义 ⼀站式 统一生产 统一消费 解决思路 通过建立数据标准及指标体系，统一业务对数据的认知与理解，实现数据的标准管理 通过自动化、半自动化的方法，统一数据的加工生产过程，让数据的血缘关系更加清晰，提升数据生产的效率，避免数据重复建设。 通过建立通用的数据服务网关，实现数据查询出口统一、保障公司通用数据产品指标数据准确性与一致性。 02中台框架 服务框架 核心流程 数据构建 模型构建模型加速 API构建 模型构建 指标维度构建 … 数据查询 数据查询 messageOpenApiReq[ OsHeader Optionsrepeatedrepeatedrepeated PageReqrepepted osHeader=1; options = 2; OperatorVoreqs=3; string string resps =4; orders=5; pageReq=6; OperatorVoresulterFilters=7; ResultCalculateresultCalculate=8; ] 数据查询 03实践方案 全链路管控 降本增效 降本 •数据建设成本 •服务研发成本 提效 •数据构建提效 •服务使用提效 高可用建设 04成果&规划 分析⼯具 自助报表 异动分析 自助取数 实践成果 API市场 实时场景 OLAP场景 准在线场景 在线场景 数据产品 主题分析产品 平台分析产品 业务分析产品 … 产品手册 监控大盘 指标字典 治理中心 数据服务中台 实践成果 API数量性能表现稳定性表现提效表现 600+ 在线 准在线：50ms 其他：1.5s ：5ms 在线 ：99.999% 准在线：99.99%其他：99.9% 1周->1天 上线一年来表现 未来规划 2023DataFunCon —THANKS— 感谢您的观看 演讲人：孟帅帅—哔哩哔哩—资深开发工程师