聚水潭云原生OLAP架构的最佳实践

聚水潭云原生OLAP架构最佳实践 演讲人：溪竹、星毛 Contents 目录 业务介绍数仓架构OLAP最佳实践未来展望 01业务介绍 业务介绍聚水潭 SaaSERP 聚水潭成立于2014年，以电商SaaSERP切入市场，凭借出色的产品和服务，快速获得市场领先地位。 发展至今，聚水潭已对接300+线上平台渠道，累计服务商家超过100W+。 2020双11季全网处理订单总量达8.52亿，全国每发出5-6个包裹中就有1个来自聚水潭系统。 业务介绍数据智能 一款将“数据”融入业务，服务于“团队”的协同型产品 BI工具+业务融合+场景串联=数据产品 企业管理商业决策 （for管理层看数据） 发掘商机降低资损 （for团队做业务） 提高效率多方合作 （for团队促协同） 业务介绍数据智能发现商机：渠道/流量/商品/内容的深度挖掘 持续优化 自然投放 流量 提升转化 订单 减少退款 发货 售后 渠道分析 电商平台 下钻 店铺/分销商 溯源 商品分析 商品排行 引流款/热销款/潜力款/利润款滞销款/问题款 多维圈选 直播分析 敬请期待 账号+主播+商品+时间=一场直播 计划管理 执优 行化 效果分析 分销分析 服 销 供应商 务售 效采购/定价/发货能 率力 // 商客 品服 质能 量分销商力 流量销量发货售后 平台店铺分销商 标签分类品牌 商品主播*商品*渠道=谁适合在什么渠道带什么货 销售业绩佣金分成 铺货/销售/售后 按业务需要自助分析 商品成本运费成本售后退款 谁&哪些品带来了流量 谁&哪些品带来了转化谁&哪些品带来了利润 业务介绍数据智能 业务介绍数据智能降低资损：风险预警、全流程监控 实际库存–待发件数/近期销量=可售天数&缺货件数 严重缺货可能缺货 可能积压 业务处理 盘点修改商品下架 采购补货 价格风险 按需指定仓库 按需排除订单 严重积压 打折清仓 利润风险 库存预警最新上线 订单预警敬请期待 拆合单合理性 发货仓物流分配合理性 订单 运营 反馈 选品营销 测款推广 仓库 发货 退回 物流 运输 退回 消费者 联系/申请 服务/转化 客服 物流预警 平台规则自定义规则 *各个物流环节监控风险订单快速处理 补货上架审单发货联系物流联系买家 售后预警最新上线 补发换货→超时提醒发货在途→拦截 仓库货物消费者 签收→拒绝 未入库→超时提醒 退回在途→同意 退回异常→拒绝 业务介绍数据智能 02数仓架构 数仓演进发展历程 升级期（2021年7月~至今） 1.引入Dataworks+MaxCompute，启动统一数仓建设，简化运维、强调模型规范，同ADBforPostgreSQL形成双数仓架构 05 2.引入Flink+Hologres，构建云原生实时数仓，试点HSAP业务架构，支持商家大屏、业务预警等实时场景 成熟期（2018年3月~2021年7月） 04 Greenplum升级为阿里云数仓产品AnalyticDBforPostgreSQL，同时满足ETL+数据查询，后期为优化超大商家的查询体验，引入AnalyticDBforMySQL。 03 02 探索期（2016年4月~2016年9月） 伴随沉淀，商家开始有数据统计分析的需求，业务数据库压力增加 3.基于Hologres持续探索实时数仓分层、计算资源统一调度、多租户、智能运维等 自建期（2016年9月~2018年3月） 基于开源Greenplum自建数仓，先期探索了大数仓模式，但由于商家众多，且增长速度快，最终选择了多数仓架构，采用同业务库相同的物理分库的方式。 01 原始期（2014年~2016年4月） 公司初创期间，数据库以服务业务系统为主 聚水潭数仓架构演进 数仓演进数仓架构 数据源 维表关联/外置状态/明细查询 自研同步中间件 Kafka/SLS Kafka RDS SqlServer LogHub MaxCompute AS Hologres 在线服务 ODSDWD MaxCompute MaxCompute MaxCompute PolarDB Hologres StarRocks ODSDWDADS 03OLAP最佳实践 OLAP最佳实践预警产品能力 同1个Hologres集群，对外提供在线/分析两类服务场景 平台规则*各个环节时间时效统 自定义规则计分析 •订单发货实时预警 •告警结果操作忽略/导出 •订单-轨迹实时关联查询 在线 分析 •告警日志分析，是否告警过？ •商家操作日志分析，是否操作忽略？ •商家发货时效提升分析 订阅Binlog 平台规则*各个物流环节监控风险 联系物流 快速审单发货 自定义规则 订单处理 补货上架联系买家 OLAP最佳实践物流预警技术链路 数据链路 当前量级 日均处理数据量：18亿告警定时器量级：2亿+ 外置状态数据量：25亿/5TB OLAP最佳实践物流预警模型设计 Hologres如何实现10亿级，1W+qps，ms级在线分析一体化服务? 1.行列共存-满足高qps点查\olap查询\高频实时更新 2.聚簇索引-文件内进行排序,快递定位block 3.采用分区-实现商家级别物理分表 4.位图索引-实现订单状态、的快速过滤 5.字典编码-对基数小的列加速聚合查询 CREATETABLEpublic.dwd_jst_erp_lgst_alarm_test(co_idbigintNOTNULL, inner_order_idbigintNOTNULL,platform_nametext, shop_idbigint,order_labelsjsonb,shop_nametext,alarm_typeinteger,alarm_stageinteger, start_timetimestampwithtimezone,logistic_idtext, logistic_company_idtext,logistic_company_nametext,timeout_timetimestampwithtimezone,rule_idinteger, promotion_timeout_timetimestampwithtimezone,promotion_rule_idinteger, custom_timeout_timetimestampwithtimezone, custom_rule_idinteger, 6.分布键-实现数据合理的分布 7.TableGroup选择-提升写入/查询并行度 ,PRIMARYKEY(co_id,inner_order_id,pt) ) PARTITIONBYLIST(pt); 8.FixedPlan（PK模型读写优化） 9.表级binlog+Flink实时消费落地hologres满足告警日志分析 CALLset_table_property('public.dwd_jst_erp_lgst_alarm_test','orientation','row,column');CALLset_table_property('public.dwd_jst_erp_lgst_alarm_test','storage_format','sst,orc');CALLset_table_property('public.dwd_jst_erp_lgst_alarm_test','binlog.level','replica');CALLset_table_property('public.dwd_jst_erp_lgst_alarm_test','binlog.ttl','1800'); CALLset_table_property('public.dwd_jst_erp_lgst_alarm_test','bitmap_columns','alarm_type,shop_id');CALLset_table_property('public.dwd_jst_erp_lgst_alarm_test','clustering_key','co_id:asc'); CALLset_table_property('public.dwd_jst_erp_lgst_alarm_test','dictionary_encoding_columns','alarm_stage');CALLset_table_property('public.dwd_jst_erp_lgst_alarm_test','distribution_key','co_id,inner_order_id');CALLset_table_property('public.dwd_jst_erp_lgst_alarm_test','table_group','lgst_alarm_group'); CALLset_table_property('public.dwd_jst_erp_lgst_alarm_test','time_to_live_in_seconds','2592000'); OLAP最佳实践物流预警架构迭代 迭代目标：Saas订阅能力升级，实现新增商家30天订单轨迹实时回放 •2022-06，全商家实时计算，延迟问题频发、资源成本高（200CU） •2023-05，MaxComputeH+1调度+Flink实时订阅实现商家按需计算 现有链路不足 1.缺少订阅后长周期数据回放能力 2.自建集群运维成本大 3.订阅链路长，计算复杂 4.实时链路数据复用度不高 OLAP最佳实践物流预警架构迭代 迭代ing 迭代架构 •新增回放链路，支持长周期数据回放 •新增订阅逻辑，实现按需计算 •从自建集群换成云组件(Lindorm)，降低运维成本， •实现轨迹相关实时公共层，便于后续业务展开未来预期：实现流批一体的有状态计算 04未来展望 云原生 1.更灵活的资源弹性，满足资源分钟级的弹性，自动感知业务流量的突增； 2.更友好的多租户方案，满足多业务资源分时复用，业务负载互相不影响； 3.更智能的运维能力，实现S级故障隔离、自动在线热升级，更专家级的自 助服务 HSAP 1.更灵活的表模型定义：再行列共存表的基础上，扩展明细、聚合等业务模型； 2.更简单的实时处理链路：从binlog产生、订阅、ETL处理可以更透明； 3.更强大的实时&离线一体化数仓能力：同Maxcmpute形成能力、资 源的互补 未来展望云原生OLAP —THANKS— 感谢您的观看