01京东到家核心系统微服务演进落地实践--孙岩

京东到家核⼼系统微服务演进落地实践 孙岩 ⽬录 1 微服务演进之路遇到的挑战 2 复杂业务微服务演进过程案例-商品系统 ·微服务领域底座建设-痛点以及解决⽅案 ·微服务⽹关建设-微服务Gateway+LBS可视化⽹格 ·阶段复盘-成果以及痛点 3 展望 ·微服务的下⼀个阶段摸索-领域服务PaaS平台 微服务架构演进的挑战 -最新微服务⾏业报告显示，2018-2023之间微服务增速为22.4%，占据亚太地区35%的市场份额。 （数据来源：Marketsandmakets） -2018微服务⾯临挑战（数据来源：DimensionalResearch） ⾯临挑战 微服务维护成本⾼ 业务⽤不到微服务 微服务的性能问题微服务部署经验问题 ⾏业内部调研结果收集 微服务演进痛点 如何进⾏切换 如何划分领域 问题定位难 数据⼀致性问题 微服务的转型过程 微服务的业务划分微服务问题定位难微服务间的数据⼀致 012.52537.550 初期单体成本低 业务复杂度提⾼单体服务的成本逐渐⾼于微服务 微服务演进实践统计 90 成本 67.5 单体 微服务 45 22.5 0业务复杂度 ⽬录 1 微服务演进之路遇到的挑战 2 复杂业务微服务演进过程-商品系统 ·微服务领域底座建设-痛点以及解决⽅案 ·微服务⽹关建设-微服务Gateway+LBS可视化⽹格 ·阶段复盘-成果以及痛点 3 展望 ·微服务的下⼀个阶段摸索-领域服务PaaS平台 微服务演进的过程 阶段复盘 微服务底座建设 微服务的演进迭代过程 微服务⽹关建设 BFF聚合层服务建设LBS⽹关可视化建设 单体业务聚合 单体架构 商品治理、商品标库、商品拓品、商品库存、商品属性、商品打标............ 微服务底座建设-商品单体向微服务演进整体过程 数据清洗 ⼤数据 热卖推荐 可售 库⽤库存 预占库存 售罄 微服务部署 治理⼦域 标库⼦域 …… 库存⼦域 拓品⼦域 业务扩展期 某⼀领域定向扩展 业务精细化挖掘 微服务领域 品类治理 规则模型 名称治理 ⽑重治理 sku模板 spu模板 视频模板 预备库 微服务架构 扩展困难 错误隔离性差 业务耦合度⾼ 双机房部署 标库服务 分布式部署 拓品服务 拓品商品分⻚查询接⼝ 库存服务 提单扣减售罄查询 库存查询 数据库共⽤ 双机房部署 双机房部署 双机房部署 …… 可⽤查询 ⼀键拓品 拓品推荐接⼝ 业务初期 初期业务发展迅速业务简单、变更频 单体维护成本低 复杂度变⾼、维护性差 产品交付速度变慢 服务稳定性差 快速迭代期 业务复杂度变⾼服务稳定性要求⾼ 分布式部署 双机房部署 治理服务 治理查询规则触达 治理规则…… 标库建品 写模板 视频录⼊ …… 分布式架构 微服务底座建设-商品演进⾄微服务过程中遇到的痛点 商品业务微服务如何划分领域 商品微服务中的数据⼀致性问题 如何解决 微服务底座建设-商品业务微服务如何划分领域 平台业务领域划分 根据业务边界剥离平台业务领域 商品主⼦业务领域划分 15个商品⼦域剥离 综合业务评估价值 贴合业务发展，逐步拆分部署业务⼦域微服务 适应度函数思维 函数化指标-产品交付周期函数 领域建模 四⾊建模法 平台领域划分 订单商品 履约商品 商品价格 购物⻋商品 购物⻋前业务购物⻋后业务 搜索商品 商品热词 商品图⽚ 发现商品 商品促销 商品贯穿业务主线 活动商品 商品feeds 商家商品会员商品 平台领域划分 交易 流量分发 营销 搜推 TOC端 ⽤户搜索商品加购物⻋ 履约 售后 配送售后 TOB端 商家商品 库存促销 订单 商家线上⻔店线上商品线上库存线上商品促销 CMS营销配置 运营搭建楼层搭建LBS资源配置商家促销线上营销 拓品⼦域 商品推荐 ⼤数据推送 运营拓品 数据采集 商品主⼦业务领域划分 图库⼦域 图⽚模板 图⽚维护 标库⼦域 标库数据 审核 商品主域 商品 限购策略 限购⼦域 预备库 标库标品 标库模板 标库⾮标品 模板创建 属性继承 ⾃主创建 审核 审核通过 免审 治理⼦域 库存⼦域 初始化 ⻔店sku库存 sku模板 查询⻔店 可⽤库存 锁定库存 预占库存 现货库存 初始化库存 spu模板 ⾮售罄 售罄 不可售 可售 库存状态 查询商品 融合⼦域 商品创建 组装数据 构建映射 同步数据 查询商品 价格⼦域 初始化 ⻔店sku价格 限购组 原因收集 详情记录 类别划分 录⼊模型 商品下架 查询⻔店 审核驳回 领域耦合 边界划分 绑定sku 策略模型 模型训练 其他⼦域 …… 属性⼦域 ⼀级分类 ⼆级分类 三级分类 店内分类 商家维度 末级 特殊属性 类⽬属性 限购时间 平台分类 图⽚ 店内分类 特殊属性 类⽬属性 名称 重量 详情 品牌 … 订单限购pin限购 限购数量 策略反补 治理触达 治理规则 ⼈⼯⼲涉 到⼿价格 促销价格 ⻔店价格 初始化价格 商家价格 结合业务评估价值 结合业务价值 结合架构价值 架构本来就是应该是研发⼈员⾃⼰的⼯作职责，平衡系统架构的重要性与功能的紧急程度这件事， 是软件研发⼈员⾃⼰的职责-RobertC.Martin 适应度函数思维-产品交付周期函数 ·同业务下，每⽉需求按时间倒序：开发⼈*⽇（开发⼤于1天的需求）/30⽇ ·函数超过60%，列⼊待观察列表。 0.64 产品交付周期函数 0.76 0.81 0.53 0.58 ·如果函数超过80%，⼤概率系统的即将到达负载饱和，也给我们⼀个信号：增加资源、或者启动系统优化。 0.9 0.675 0.45 0.225 0 0.86 2019年11⽉2020年1⽉2020年3⽉2020年5⽉2020年6⽉2020年7⽉ 系统/⽇期 2020.06 2020.07 开启微服务部署 2020.08 进⾏中 2020.09 进⾏中 2020.10 进⾏中 2020.11灰度 2020.12 灰度效果体 2021.01 现上线 2021.02 2021.03 2021.04 … 商品 0.81 0.86 0.88 0.91 0.93 0.91 0.90 0.63 0.55 0.68 0.62 系统/⽇期 2021.03 2021.04 2021.07 2021.08 2021.12 开启微服务部署 2022.01 进⾏中 2022.02 进⾏中 2022.03 进⾏效中果体 2022.04 现上线 2022.05 2022.06 … 库存 0.75 0.62 0.79 0.86 0.81 0.89 0.87 0.91 0.68 0.64 0.66 商品领域建模-四⾊建模 拓品域建品域治理域 商品四⾊建模 ·⾯向对象建模 ·定义时标性⻣⼲节点 ·丰富时标⻣⼲添加⻆⾊、描述、实体 微服务底座建设-商品演进⾄微服务过程中遇到的痛点 商品业务微服务如何划分领域 商品微服务中的数据⼀致性问题 如何解决 痛点 硬编码校验 期间业务重复开发 期间数据不⼀致 微服务切换过渡期⻓ 微服务切换中数据⼀致性痛点 新接⼝API 新接⼝API 新接⼝API API层 原接⼝API 拆分 业务层 ⼦业务C ⼦业务B ⼦业务A 原业务 解耦 数据层 原数据新数据 解决数据⼀致性问题-轻量级架构⽅案 MQ消息模块 Dubbo泛化模块 规则引擎模块 报警模块 延迟消费模块 分类敏感词 名称 品牌图⽚属性 PIN限购ORDER限购 限购组 绑定sku绑定 消息发送 微服务 MQproducer MQproducer…… 限购服务 标库服务 标品模板多规格 SKUSPU视频 治理服务 存储层 ES MYSQL …… REDIS 消息驱动 对⽐ 告警 执⾏ 轻量级数据 ⼀致性校验平台 消息订阅 MQregister MQconsumer 配置校验规则 aviator脚本 checkdata SDK Dubbo 数据对⽐ 微服务数据验证平台-柚⼦平台 多种校验⽅式 ⾮侵⼊式 可视化告警 统⼀处理 微服务演进的过程 微服务⽹关建设 阶段复盘 微服务底座建设 BFF聚合层服务建设LBS⽹关可视化建设 微服务的演进迭代过程 微服务⽹关建设⾯临的痛点 BFF服务如何划分 基于LBS业务⽹关如何快速定位问题 BFF 服务 统⼀BFF 图⽚ 限购 主信息 分类 购物⻋ 收银台 价格 到⼿价 优惠券 满减 促销 …… …… 促销BFF 优惠 …… 到⼿ 满减 促销 价格 交易BFF 加⻋ …… 售后 收银 ⾦额 提单 商品BFF 图⽚名称 属性 …… 限购 分类 … 促销⽹关 购物⻋⽹关 单品⻚⽹关 商品feeds⽹关 … 促销⽹关 购物⻋⽹关 单品⻚⽹关 商品feeds⽹关 GW服务 BFF服务划分 按产品统⼀BFF按业务划分BFF 端 京明 ⼩程序 H5 APP 京明 ⼩程序 H5 APP 物理 ⽹关 路由 反爬 限流 鉴权 路由 反爬 限流 鉴权 微服务⽹关建设⾯临的痛点 BFF服务如何划分 LBS商品业务⽹关如何快速定位问题 库存接⼝ 商品接⼝ LBS商品业务⽹关痛点 GW LBS定位 商品BFF 促销接⼝ …… ·POI点位商品问题排查难 ·监控覆盖不全 ·排查链路⻓、成本⾼ 接 ⼝聚合 商品不展示 商品活动配置错误 商品业务⽹关报错 商品楼层掉楼 商品优惠券错配 LBS商品业务⽹关痛点解决⽅案-追⻛⽹格 业务⽅数据 追⻛核⼼三⼤模块 数据接⼊模块 数据集模块 ⽹格SAAS平台 ⽹关LBS⽹格可视化监控-追⻛ POI异常上报收集 LBS⽹格化展示 异常问题分析处理 微服务演进的过程 阶段复盘 微服务⽹关建设 微服务底座建设 BFF聚合层服务建设LBS⽹关可视化建设 微服务的演进迭代过程 微服务部署复盘 微服务当前架构 京明 附近频道 ⼩程序 H5 APP 商品feeds⽹关 商品基础信息 名称图⽚详情 商品促销资源 商品热销榜单 …… 频道⻚⽹关 频道精选 推荐蜂鸣商品 附近⻔店 ⼤促楼层 业务 鉴权 接⼊ 限流 流程编排 ⾃研编排框架 sentienal限流 流程 ⾼可⽤ 团队分⼯明确 GW 服务 业务松耦合 端 优点： 满减 到⼿价 …… 业务数据集合 业务聚合 ⾼可⽤、可编排 交易BFF 购物⻋ 促销BFF 价格 优惠券 搜推BFF ⾸⻚搜索 店内搜索 …… 售后 收银台 提单 …… 分类 主信息 商品BFF …… 联想词 秒杀搜索 图⽚属性 ServiceMesh Sidecar Sidecar Sidecar 订单服务 Sidecar Sidecar Sidecar 促销服务 购物⻋服务 价格服务 ⻔店服务 库存服务 服务⾼可⽤ 降低维护升级成本 商品交易促销搜推服务 …… 微服 易扩展 BFF 服务 领域建模边界划分 微服务部署 多端聚合 降低沟通成本 痛点： 复⽤性差 ⽹格服务 商品服务 Sidecar 商家服务 Sidecar ⽬录 1 微服务演进之路遇到的挑战 2 复杂业务微服务演进过程-商品系统 ·微服务领域底座建设-痛点以及解决⽅案 ·微服务⽹关建设-微服务Gateway+LBS可视化⽹格 ·阶段复盘-成果以及痛点 3 展望 ·微服务的下⼀个阶段摸索-领域服务PaaS平台