4 镜舟科技-从数据洞察到业务突破的创新之路

D STARROCKSLAKEHOUSE SUMMITASIA2024ISALLYOUNEED 从数据洞察到业务突破的创新之路 石强Ai 镜卡科技/解决方案架构师 StarRocks 镜舟，致力于帮助企业建立卓越的数据分析系统 开源贡献 全球领先开源项目 StarRocks中国最大贡献与 推广者 商业拓展 镜舟科技致力于帮助中国企业建立卓越的数据分析系统，满足客户多维复杂、实时、高并发数据分析 需求，帮助客户构建数据驱动的全新业务和管理模式。 目前，镜舟科技相关产品已应用于金融、零售、制造、游戏等行业头部客户。 目前，StarRocks被420+家 市值10亿美金以上的企业验 证，20000+开发者认可。 北 分支机构 ★ ●西安 •总部：北京 ● ●上沟 ni.st ● •分公司&办公室：上海、杭州、广 州、深圳、西安、成都 ● ● 广州 STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED STARROCKSLAKEHOUSE SUMMITASIA2024ISALLYOUNEED 01数据驱动决策的驱动力 02数据洞察到数据决策 03StarRocks助力高效决策与业务创新方案介绍 Ai 01数据驱区动决策的驱区动力 STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED 经营之变-从感性到理性的回归 数据逐渐成为关键生产要素，数据化就是核心驱动力 全新的数字经济 业务价值 生产能化、营销精准化、运营数据化、管理智化 数据驱动 依托数据，提高效率，降低成本, 加速创新 业务转型 流程、决策面向数据，具有新的思维模式 组织转型 建设强大的数据基座：支持数据高效分析 技术转型 STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED 为什么需要数据化决策？ ·集团多业态管理·精益生产 ·分子公司管理·精细化成本 ·产业链延伸准确的数据 ·产业横向扩展 集集团团化化精精细细化化 一一体体化化平平台台化化 ·产供销一体化·开放性平台 ·业务财务一体化·灵活性平台 ·市场前端与交付一，可复制平台 体化·可扩展平台 STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED 数据化决策的三大利器 用户画像系统指标管理系统实时分析平台 对每个用户进行纽分和动态分析提供了数据驱动决策的基础实时洞察一反应，帮助分析人员快速处理数据为个生化营销和产品优化提供支法助企业跟踪关键业务指标 STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED 三大利器如何协同实现高效决策 数据驱动决策 个 用户画像指标平台实时分析 个 实时分析引擎 STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED 02从数据洞察到数据决策 STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED 市场行为洞察-CDP平台 点击分析 留存分析 漏斗分析 理财购买路径分析 行为事件分 析 进入网站12087/100.00% 浏览商品详情 6871.56/85% 放入购物车 CCDDPP平台用户画像$89.h >56.85% 确认订单 3236/2710x 48.63* 1593318%66.35% 行为路径分 析 用户分群 结算和支付105787u 92.24% 完成交易 97500% STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED CDP平台收益：让“数据赋能业务”不再是一句空话 助力企业从“以产品为中心”转向“以用户为中心” 数据的收集数据价值的挖掘数据的使用 数宁化业，出户行为发牛在各个链路，业务人员定向闪收集有价值数据 业务人员山诉或，战公战喀发展需 求，数垢/支术产门丢抚兴问数据/能 如前端业务人国，根后数店必撑更准 确优址化制定方营销案策。峰、风险管库和造 用户特征画像标签 人群包导出人群/客群圈选精准营销：A/Btest、渠道分析、 效果分析 行为日志人群包查询交互式分析行为分析：群体分析、风险预警在线查询人群定向：弹窗推送、人性化推荐 STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED CDP平台建设需求和难点解析 阻碍数据驱动增长的，是缺少整合、处理和打通多个来源的用户数据，并以唯一客户视角呈现的DF 需求难点 用户触点多来源多，需要id-mapping 组合标签计算，开发复杂度高 应用场景丰富，检索方式灵活度高 精确去重计算，资源消耗巨大 用户数据维度复杂，更新粒度多样 诉求需及时响应，分析结果时效性强 聚合标签集合，查询并发度高 o数据部分更新，时效性要求高 STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED 业务状态洞察－指标平台 指标平台是指标管理、加工和应用的一体化工具，通过将业务问题转化为数据问题，为业务提供更智能高效的分析决策支持。 合 数据仓库BI分析 数据湖 数据 集成 业务系统 API e 经营分析 算法应用 目标管理 智能预警归因 业务自助分析 指标分析助手 目标设置并拆解到过 帮助业务人员自动预 让不莅技术的业务人 支持业务同学对话式 程指标，实现战略到 警、发现和定位数据 员用可信的指标直接 进行数据分析，更好 执行的闭环 异常问题 取数和做报表 的智能化交互体验 数据上传指标管理和加工业务系统通过零代码积木式组装指标和AP消费指标，缩短数据管道，提高指标管理和加工效率 STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED 指标平台收益：提供清晰、客观的业务运营数据来辅助决策 AM 数据驱动决策业务监控与预警业绩评估与优化客户体验提升 提供客观、准确的数实时监控业务情况，评估业绩，发现改进深入了解客户需求， 据支持，帮助企业做识别风险并发出预警空间，提升业务效率提升产品和服务质量，出基于数据的决策：保障企业稳健运营。和竞争力提高客户满意度和忠 诚度 STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED 指标平台常见痛点：底层数据分析引擎支持不到位 指标问题难追溯运维成本高昂 有的指坛计算路太复杀，号致效起立和维沪洁标平台需安涉及多种法术和工只， 出了问题万无法快速送行门题准确定包括效据采靠、污法、存估、分行和可切化等， 法术点杂可能导致实应难变和成本增加 现状 指标口径不一致痛点分析平台效率低下 不向部门或团队对可一洁标均定义可传统效据平台不能够支持灵洁的高并发药分 能存差异：导改数据解读均误解，析方式：比如有压慢决策者想要下分析到 局部：但是系统部不能响应即席分析 数据时效性低数据治理困难 一兰核心效据，需更T+1定寸调度，缺了有效的数据治理，导致数活的湿舌.和 等待的时问或木高一致，降倍数指的可度和可用生 STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED 买时运营洞察－实时分析平台 实时分析平台产生的背景 1 数数据据爆爆炸炸和和多多样样化化 2 数数据据延延时时决决策策延延时时 3 新新的的业业务务需需求求变变化化 4 速速度度成成为为核核心心竞竞争争力力 STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED 实时分析平台的痛点分析 •两套计算运辑，维护成本高，放据穴余存储 •多流Join，数据延时到达，导致实时数据不能作为决策依据，每天需要定时修复实时数据 •多套指标口径，数据治理难度大 Lambda架构 •两套计算浸辑，维泸成本高，数据穴余存储 •多流Jin，数据延时到达，号致实时数据不能作为决策依据，每天需要定时修复实时数据 •多套指标口经，放据治理难度大 架构选型难Kappa架构 湖上建仓或仓外挂湖 •远端存储延时：远端存储虽然价格低廉、但足读取延返高且波动大 无法满足低延迟查询的需求。 •数据架构豆杂：为了如速查询速度，通常需要搭配额外的OLAP系统使用，并且引入复杂的括流处理系统维护数据的流动。 •湖仓割裂问题：用户需要自已维护两套系统之问的数据一致性问题， 极大影响用广的使用效率， STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED 实时分析引擎的各阶段的痛点以及最终演化方向 MM 业券分折 业务分扩数括应业务分数括应斤 业买分行 OLAP数据.库 ETL 数据仓库 数坛湖Lakehouse 头系型数据车结构化活结化半结沟之非结闷化NativedataExlerialdlalz: 数据库数据仓库数据湖智能湖仓 诞生于20世纪60年代，主装用于 20世纪90年代数据仓库理论按提出 2010年数据湖概念被提出， 2019年湖仓概念被提出，核心息想： OLTP场景：代表产品：Oracle、 代表有ClickHouse、Greenplum等， 代表产品：DeltaLake、ceberg 提供统一的平台，用丁存储和管埕数据， MySQL，SqlServer等。 云仓有AwSredshifl、Snowllake等 Hidi 同时支持高性能的效据处理和分析能力 STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED 面对业务需求✁挑战 03StaRocks✁创新解决方案 STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED StarRocks定位：新一代极速统一湖仓新范式 Cloud-nativeRealtimeLakehouse kafxa BIReports Real-timeIngestion Flink Query StarRocks Dashboarcls Batch Spark Applications FederatedAnalytics hadoop AD Amazon$3 MySQL3AIHHudiIcebergStarRocksAchoc STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED StarRocks领先✁性能内核 多项核心技术，打造超强产品性能 多项核心功能，赋能企业实时决策与智能运营 Ol向呈化、CBo优化器、Pipeline、RuntimeFilter等 充分乱毛集样烫源、将行生能发泽乳致：3.现崇样生能线生垃而： 02湖仓分析 统一款活口径、统一起术架相、缺一效活源，降活运维成本 03Spill-Down 提升不兰稳烂性、兰实破内行当问这制：另好✁支持均化视用作：构， 04Multi-warehouse 05存算分离 秒级兰所，深！容，存本、云存然案中内丁一 01丰富Bitmap函数 张线别单统：按加统究、存销大云亿、云存请天满具咨示高比可三件长阵 02高性能部分列更新 支列模比与行模分列互，场人家表高生作更新 03Ranger、Kerbeors、RBAC.LDAP 致据一急权限管理形统✁策突：以及定产✁行列按医制 04自t动aR物o化不视图多推，荐级物，外物， 达支持自化现图性齐，轻恐实切效托分层，查询加速，5内势托源书势托联分所。 05可视化运维管控平台 交互方记：长月离运信：可促化进行无带当控沃知、“点上载下线 STARROCKSSUMMITASIA2024LAKEHOUSEISALLYOUNEED 基于StarRocks✁指标平台方案建设流程 需求分析 指标定义 指标建模 数据准备 权限管理 数据分析 实时监控 持续优化 1.进行企业✁需求词研和分析，明确建立指标平台✁标 1.在starkocks中建立数据模 型，以支持复杂✁数据分析和 1.设计并实施权限管理机 制，保障数据✁安全性和隐私 1.在指标平