数据中台在数据化转型中的应用与实践

数据中台在数据化转型中的应用与实践 张荣杰2023.05.26 www.islide.cc 目录 数据中台在零售行业中应用场景1 数据中台基座与技术方案2 数据实践之数据治理实践3 数据驱动业务之指标中台应用4 亲近客户 产品领先 卓越运营 基础设施数字化 运营与渠道数字化 数据中台在零售行业中应用场景：零售数字化转型“五化” 用户数字化 产品与⽣产数字化 供应链数字化 数据中台在零售行业中应用场景：数据中台在数据化转型业务中的应用 消费者 门店 总部 供应商 海外 国内 零售商业服务能⼒ 商智能研发系统业 操供应商协同平台 智能供应链 海外智能订货平台加盟商订货 线上运营 全渠道增长 留⼈创收优品 作 系销售预测 统 内国内自动补货核 引门店运营数字化 擎 财务⼈资数字化仓储物流系统质量风控平台 数据反哺 小程序 付费会员用户体验升级 门店引流 私域变现第三⽅O2O 预售 组合套装IP⽂创 数据板块：全域数据中台，零售数据赋能 中台系统底座 交易 业务中台 B-PaaS财务 支付履约商家供应商商品营销门店… 用户 用户中台接⼊ C-PaaS⼈群圈选 会员会员 画像权益 精准事件 营销营销 忠诚度体系 效果评估 数据中台D-PaaS 技术中台T-PaaS 安全域 通用能⼒ 统⼀平台 基础架构平台 风控域AI… 数据基础 数据应用 ⼤数据平台 数据资产 IaaS云主机云硬盘对象存储私有⽹络NAT⽹关门店主机… 目录 数据中台在零售行业中应用场景1 数据中台基座与技术方案2 数据实践之数据治理实践3 数据驱动业务之指标中台应用4 数据中台基座与技术方案：数据中台业务架构 平台应用 大数据计算平台 自助分析平台 供应链算法平台 用户标签平台 数据质量平台 报表可视化 业务应用 数据营销系统 个性化推荐 商品质量监控 新品研发系统 安全与审计 舆情系统 业务支持 运营 营销 分析 财务 供应链 ...... 应用层 大数据开发套件(IDE) 数据存储 分布式文件系统 （HDFS/Kudu) 分布式数据库 （HBase/ElasticSearch) 计算引擎 内存计算 （Spark) 交互式计算(Impala) 数据管理 数据开发 （OnlineDev) 任务运维(DataOps) 全量/非实时接入 （Sqooq) 增量/实时接入(DataStream/Flink) 离线计算(Hive) 实时计算(Flink) 自助分析(Analysis) 数据管理(DAMA) 平台层 大数据基础设施(IaaS) 云存储 弹性计算 云数据库 网络 CDN 缓存 层 基础 数据中台基座与技术方案：数据中台技术产品架构 大数据计算平台（TopdataStudio) 产品(MicroService) 数据门户数据服务(DataPortal)(Dataway) 数据总线(Databus) 自助分析(Workbench) 文件服务(DataFS) 数据治理(DataFS) 数据可视化(Presentation) 组件(Components)微服务组件 服务发现 （Nacos） 服务发现 （Eureka） 服务网关 （Gateway） 大数据组件 DataXLinkisDataHub 消息驱动 （RabbitMQ） 服务容错(Sentinel) 调用监控(Sleuth) DolphinScheduler WeDataSphere Qualitis 大数据集群 Hadoop Hive HBase ElasticSearch Impala Kudu ZooKeeper 数据中台基座与技术方案：数据中台技术实现架构 DXP平台(DigitalExperiencePlatform) 数据门户(Portal) 数据产品（Product) KylinFGS KylinBCP KylinBDP KylinCDP KylinDIA 数据治理(DataHub) 数据协作(CoWork) 计算调度(TopData) 数据网关(Dataway) 标签平台(TDP) 多算大屏(Dashboard) 自助查询(WorkBench) 数据文件(DataFs) 数据总线(DataBus) 告警通知(DataAlert) 用户触达 报表平台 (Presentation) 用户管理(UserAdmin) 运维监控(DataOps) 框架（Framework） KylinCommon KylinService 基础库(Base) 应用网关(Gateway) 云原生(Cloud) 应用调度(Jobs) 统一鉴权(SSO) 应用监控(Monitor) 运行时（Runtime） 大数据集群（Pedestal） 组件(Component) 环境(Environment) Spark Flink Impala Yarn ZooKeeper ElasticSearch Datax DataHub Java Python Hadoop Hive HBase Kudu Linkis XXL-Job Scala 目录 数据中台在零售行业中应用场景1 数据中台基座与技术方案2 数据实践之数据治理实践3 数据驱动业务自助分析之指标中台应用4 数据实践之数据治理实践 2300TB历史数据，10000任务，2.5TB日增数据，3000报表 表生命周期管理：共下线表73.1T。报表/看板下线：下线报表/自助分析2106个，任务下线460个，任务调度调整800+个。 源头：规范建模 数据实践之数据治理实践：系统总览 数据实践之数据治理实践：技术产品与团队管理 技术产品组织角色 数据规划 主题域配置 数据字典表设计规则 分配配置 数据架构师/数据产品 标准设计 标准目录码表管理 数据架构师 规范建模 数仓建模 数据分层关系建模 数据库逆向 模型工程师 指标系统 指标字典 修饰词管理衍生词管理 时间周期管理 需求分析师业务分析师 数据实践之数据治理实践：要点 最终落地之关键： 数据源打通 目录 数据中台在零售行业中应用场景1 数据中台基座与技术方案2 数据实践之数据治理实践3 数据驱动业务之指标中台应用4 指标中台应用：将现有营销转为全域营销 CDP：通过搜集企业所有渠道历史用户交易/行为数据，通过One-id整合客户画像，灵活配置营销渠道，形成转化闭环 现有营销 以「人」为核心的全域营销 •差异化营销难：单一平台客户信息有限，画像不完整 •渠道数据割裂：因品牌/平台等不同，客户数据分散在各处 •营销任务配置复杂：不同渠道任务配置会有不同平台需要操作 •营销效果难保证：营销成本上升，尤其是公域模块 •One-ID：以客户为核心，打通品牌/平台，构建完整客户画像 •营销渠道整合：企微、公众号、短信、抖音、支付宝等数据及渠道整合 •营销工具升级：统一现有多平台至同一入口，围绕画像洞察、营销画布、 营销日历等全面升级现有营销工具 •数据跟踪闭环：全域营销从洞察投放到回收分析形成闭环，营销可视化 指标中台应用：TDP技术方案 基于标签系统的运营数据体系 基于标签系统的运营数据体系 业务运营中台用户运营中台数据应用中台 业务报表经营分析主动营销精准推荐 运营数据大屏 流量平台接入业务 中 业务监控其他 用户体系用户运营 数据接口服务其他台 数据萃取中心 用户/会员数据体系 企业数据体系商品数据体系内容数据体系 埋点数据体系 数据 公共用户域商品域订单域财务域 数据 中心活动域内容域行为域第三方平台 营销域 自营平台 分销域中 台 外部数据 数据基础元数据主题元数据 体系 应用元数据 数据数据指标定义数据异常监控 规范 数据元数据报表元数据 服务 数 API据 基座 指标中台应用：标签开发平台 指标中台应用：重构 指标中台再思考 结束：Q&A 聚 数据 汇数据支撑业务洞察降低 据 成本 数数据驱动业务智能使用