京东 one-service 数据服务体系建设

京东One-Service数据服务体系建设 周慧通-京东集团-技术研发与数据中心 DataFunSummit#2023 01昨天 目录 CONTENT 03明天 02今天04致谢 01 昨天 DataFunSummit#2023 数据服务发展 第一阶段第二阶段第三阶段 需求驱动 烟囱式 主题服务 One-Service 服务一体化 主题化 满足业务场景解决业务痛点 以主题为系统边界各司其职 定义驱动生产 数据资产一体化平台 主题化服务 主题化服务实践-融合服务 主题化服务实践-融合服务 1代码模板化2数据配置化 •通过定义基础模板，实现基础服务查询 •通过重写基础模板，实现♛定义服务查询 •将依赖的表、数据源、缓存时间等动态配置 •将指标、维度信息代码配置化 3指标融合化4缓存粒度化 •通过服务拆解，支持不同集群、不同业务的各种指标一次性查询 •支持年/月/日/小时/秒粒度查询拆解独立缓存 •支持维度分析粒度拆解并独立缓存 技术效能-服务是否真正服务于业务 01.标准化 04.稳定性 指标口径不统一服务协议不统一 02.资产化 03.模板化 大量的数据资产无法得到充分复用，且存在重复建设 模板化与复杂业务的融合并没有达到预期效果 非标准带来差异参数和链路，服务如何保证稳定性 05.研发周期 技术迭代无法加速业务上线 06.可能性 是否存在一个服务可覆盖上述所有？ 01 今天 DataFunSummit#2023 WHERE WHAT WHO HOW WHY 数据标准 5W2H HOWMUCH WHEN 资产构建的基石-数据模型标准 数据模型标准示例 资产构建的基石-指标标准 HOW WHERE WHY 指标标准4W1H WHO WHAT 指标市场-资产化管理平台 01 指标注册 02 指标管理 03 指标接入 04 指标巡检 05 指标路由 维度中心-标准化分析视角 标准化输入 维度中心 标准化输出 定义驱动生产-数据查询能力 定义驱动生产 动态能力 加速策略 多实现 优先级 动态函数 同环比 年至今 月至今 …… 标准语义SQL 配置化 ♛定义语 义SQL 聚合子查 询 标准指标 定义 维表关联 Hive 动态修饰 “点灯” 动态过滤 One-Service 用户 清晰的调用链路 指标市场 维度中心 明确的调用边界 定义驱动生产 两个标准 充足的应急预案 合理的熔断降级 低代码-配置化前端 低代码配置 分析逻辑编排 分析联动 数据驱动可视 数据编排 可视化编排 Demo原型 分析思路 能力编排 一键发布 发布云端 在线预览 多端赋能 看板/报告 移动 邮件 PC 第三方 自营 多端多场景 基础能 进度分析 分 组件集市 框架（主板能力）标准化框架 商业化框架微应用框架定制框架 …… …… 决策引擎 SLA时效性 权限应用 查询引擎 数据下载 数据推送 业务网关 分析方法模板概括/明细 …… 主题配置 力析基础分析 可 视杜邦分析化 转化分析 交叉分析 联动分析 洞察分析 异动分析 地域分析 关系分析 数据资 产 标准系统化生产配置化消费PaaS化 React SpringBoot Webpack nodejs SVG CanvasD3.jsEcharts 技术栈 服务查询链路 实践对比 主题化服务VSOne-Service 03 明天 DataFunSummit#2023 未来规划 减少水下能力 减少因为前端不足导致需要研发人员运维数据的情况 强化流程链路 减少用户选择项增加流程把控项 用规范的流程化指引用户 报警分层 用户层系统层数据层 保护动态化 动态熔断动态切流动态限流 服务轻量化 优化查询规则减少查询链路 04 致谢 DataFunSummit#2023 感谢观看