王建中：数据湖在联华华商的应用实践

数据湖在联华华商的应用实践 王建中 杭州联华华商集团信息中心系统架构师 •联华华商：作为联华华商致力于打造全时空、全渠道、全领域的销售模式，拥有购物中心、大卖场、综合超市、标准超市、精品超市、便利店、校园店、品类店等零售业态，分别冠以“印悦里”“天华世纪城”“世纪联华”“联华”“CiTYLiFE”“Green&Health”“鲸选”“快客”等多业态品牌，曾获评“中国服务业五百强”“浙江省服务业百强”“浙江省商贸业百强”“浙江省商贸龙头企业”“浙江省重点流通企业”“浙江省诚信示范企业”“浙江省放心消费示范单位”等称号 •价值观与愿景 使命：最受顾客信赖、员工认同、股东满意、社会尊敬的浙江连锁零售企业；愿景：让消费者更喜爱我们，致力于打造百年企业 510+个 11个 网点数量 浙江地级市覆盖 直营、加盟门店 快客便利店 社区生鲜店 微店 复合型卖场 生鲜综超 线上商城 精超社区生活店 餐饮店 购物中心便利店 341家 169家 顾客自提配送到家线下体验 家 商圈 线上业务 社区 三大场景 线下业务 顾客自提配送到家线上服务 商城业务 鲸选APP用户138万人 线上业务 到家业务 鲸选APP 平台接入整体融合 拼团业务 社群分销 ~-2010 客户端单数据库 2010-2018 客户端中间件 多数据库（业务分离） 2019-2021 2022-~ 客户端 容器化部署中间件分布式存算分离数据库 （业务集中） 客户端 容器化部署中间件 分布式数据库（业务分离） 集中-> 分离 -> 集中 演变趋势 Tablestore:ServerlessNoSQL多模型数据库 全域凭证 （交易中台） OceanBase(forMySQL)多读多写，蚂蚁金服金融级数据库 业财账务 （业财中台） 卡系统 业务现状 数据实例多，数据库种类多，增加了运维和开发复杂性，承担联华实体门店的充值卡、商品预付卡、会员储值卡、储值卡、鲸选支付、微支付、津贴等业务。 财务FAS 财务系统数据体量大，接近8T，存储成本高；且后续业财一体化改造，会接入更多业务数据，存储成本将会进一步快速增长。 鲸选 鲸选平台面向C端用户，并发访问量和数据量都有可能爆发增长，所以需要一套既能平滑扩缩容应对流量的爆增，也要有数据的高压缩比能力的数据库，达到降本增效。 通过使用大集群，多租户的架构，将卡系统，账务，财务，鲸选平台迁移到OB，统一管理 服务层 阿里云DTS 卡账户管理TS 账户管理 卡账务管理TS 三级账计算数据对接 报表管理PASO 三级账日常报表 存储层 卡片物料库 DRDS 分析加工 报表展示 ORACLE MYSQL PG ADS 卡账户管理TS 卡账务管理CC 报表管理PASO 财务系统 （生产） 鲸选平台系统 （生产） 卡系统测试应用 财务系统鲸选平台 系统 Mysal模式租户 （生产） MySQL模式租户 （生产） Mysal模式租户 MySQL模式租户 （生产） MySQL模式租户 （测试） （生产） 统一OceanBase集群 OceanBase集群替换原有架构 经过线上复杂系统验证的HTAP数据库 高资源集约高扩展性高性价比高兼容 资源集约，大集群，多租户统一管理租户资源动态调配，随时应对业务高峰 成本降低 采用大集群多租户的模式，进行资源集约，降低运维复杂性，卡系统、鲸选平台主要为TP系统，而财务，账务主要为AP业务，TP和AP业务合二为一，充分利用OceanBase的HTAP能力 资源集约降低复杂度 架构先进性升级 •弹性扩容缩容，大促期间，资源规格动态调整，应对业务洪峰； •持续性可用性增强，三副本高可用架构确保了联华业务的连续性。 •数据强一致性 Web客户端 ... 采用微服务架构搭建中台系统 服务注册与发现 服务注册中心 服务注册与发现 服务注册与发现 服务A 服务调用 服务C 服务调用 获取/ 服务B刷新配置 服务调用 获取/刷新配置 获取/刷新配置 配置中心 获取/刷新配置 APP客户端 服务网关 服务A 服务B 服务C … 服务集群 服务注册中心 服务配置中心 •通过熔断、限流等机制保证高可用； •微服务之间调用的负载均衡； •分布式事务； •服务调用链跟踪； 云容器引擎K8S 云厂商 分布式存算分离数据库 庆春路IDC机房 Serverless 云厂商 资源集中 •门店应用服务器，260+台独立的门店服务器1台；数据库服务器，260+台独立的数据库服务器1台 •节省云端的服务器和数据库成本 资源集中 1、应用服务器 2、数据库服务器 服务集中数据集中 •整体基于微服务技术中台架构，支持大并发的查询或处理能力，保障系统的稳健运行及对多端的松耦合访问支持。 •库存、销售等数据集中，可为自动补货，配货池等算法的优化提升提供数据支持 •业务更便捷的获悉全供应链的数据 服务集中 账务集中 • 供应链统一规则管理 •统一记账 1、弹性部署 2、可横向扩展 账务集中 1、供应链规则 2、库存记账等 数据集中 1、数据感知 2、数据智能 整体云化率达到95%以上 ECS总体438台 RDS总体105台 OceanBase/其他分布式中间件总体2台 K8S集群总体1/3 存储规模105TB ECS总体658台 RDS总体320台 存储规模150TB VS 谢谢 谢谢 谢谢