3_移动云_x_StarRocks：构建下一代云原生数仓

移构动建云下一x代St云ar原Ro生ck数s：仓 陶捷 移动云数据库技术专家 01移动云分析型数据库发展历程 02海山数仓的架构和理念 03海山数仓的核心技术及演进趋势 04移动云的实践与未来展望 01 移动云分析型数据库发展历程 移动云数据库的发展历程 移动云数据库团队十年前正式诞生，以实现数据库核心技术自主可控为目标，目前已构建完整产品和市场体系，并实现大规模商用。 云能力中心2024 苏州研发中心 2020 2014 •基于开源启动商业版产品打造 •集团内部推广和应用 •启动云改，转型云计算服务商 •海山数据库1.0发布 •云原生进阶，发布海山数据库2.0 •启动算力网络数据库探索和研究 研发团队 资源规模 市场推广 规模200+人内核研发70+人 15+31全国资源覆盖30万vcore 10+中移专业公司 9大重点行业突破 由云向算，云原生数据库四级进化 我们认为数据库的下一阶段: 从云计算到算力网络 无资源预占、全球分布、任务式服务 2018 2014 2009 AuroraServerless Aurora LogisDatabase 开源托管 L3Serverless L2存算分离 L1容器化部署 无资源预占、水平和垂直扩展 资源预占、计算存储分别扩展 资源预占、计算存储—体扩展 云原生数据库的进化方向：更深层次的解耦、更灵活的感知调度 移动云数据库布局 移动云一站式云原生数据库服务 数据库生态工具 数据库传输数据库管理数据库自治 •移动云基于K8s构建云原生数据库底座，全线产品达云原生L1级 事务型数据库 L1 L2 L3 海山数据库MySQL海山数据库PG L1 海山数据库分布式RDSMySQL 分析检索OLAP海山数仓 L1 L1 L2 搜索数据库向量数据库 数据库统一云平台底座 NoSQL 缓存数据库文档数据库多模数据库 •自研海山数据库系列，采用 L1 算力存算分离架构，并全面向 L1 网络Serverless演进 数据 库 L4 L1 •在中国移动算力网络战略下， 大力探索算力网络数据库，积极推进相关技术以及行业标准制定 •24年9月发布《中国移动算力网络数据库白皮书》 分析型数据库：从湖到仓 分析型数据库技术的发展的四个阶段 2003年 2008年 Hadoop 2012年Presto、Impala、Hawq、Druid 2017年 Hudi 2018年 Iceberg 2021年 2019年 DeltaLake 湖仓融合 2020年 湖仓一体 DB2Netezza Greenplum2016年ClickHouse Starrocks、Databricks 2014年Snowflake Oracle2000年 Teradata 2005年 Vertica数仓 2017年ApacheDoris2021年DataBend FoxLake 第一代： 单机分析型数据库 上世纪90年代以Oracle、DB2为代表的单机分析型数据库 第二代: 传统MPP数据库 2000年代以Teradata、Greenplum、Vertica为代表的MPP架构数仓，具备支撑TB级别数据分析能力 第三代： 新架构实时数仓 近十年来以Clickhouse、Doris为代表的新架构实时数仓，吸收开源大数据技术架构和能力，在分析实时性、支撑数据规模上有了显著提升 第四代： 云原生数仓 近五年来以SnowFlake为代表的云原生数仓，强调与云的基础设施融合，云原生、一体化、湖仓融合是主要的发展趋势。 移动云产品演进 BC-Hadoop BC-RDB-HybridBC-HugeTable LakehouseEMR海山数仓 02海山数仓的架构和理念 海山数仓的设计理念 高性能 实时数仓引擎 CBO 物化视图、向量化引擎、行列混存、优化器 云原生 极致性价比 存wa算re分h离ou、semulti- 极简化 数据集成生态 Zero-ETL、湖仓融合 数仓实例 服务层 计 算层 CN 本地高速缓存 本地高速缓存 海山 云平台 监控管理 日志管理 运维平台 传输迁移 数据面 管控API K8s管理 容器网络 多云管理 管控面 海山数仓的架构设计 接 MySQLClient ODBC JDBC 入层 FE FE FE CN 计存 算储对象存储 •高性能数仓引擎 基于Starrocks内核构建高性能计算引擎。支持向量化引擎、CBO优化、物化视图、智能缓存等能力。 •存算分离架构 基于Starrocks实现存算分离能力，计算存储独立的扩展，支持无状态计算节点，持久化存储基于对象存储，通过本地缓存加速；实现多个计算实例共享数据存储，降低存储冗余和同步开销。 •统一管控云平台 对各类数据库进行统—抽象和封装，形成算网数据库管控底座；提供适配算力网络模式的新型数据库资源供给能力。 •高兼容性 支持MySQL协议,兼容SQL99/2003,支持多种外部数据源、联邦查询能力,兼容Iceberg、Hudi等开放数据湖格式。 03 海山数仓的核心技术与演进趋势 云原生架构 存算一体和存算分离的支持 Multi-Warehouse支持 ETL任务即席查询月度报表 FEFEFE BEBEBE FEFEFE CNCNCN FEFE CNCN FEFEFE CNCNCN LocalStorage LocalStorage LocalStorage 移动云对象存储EOS Warehouse1 Warehouse2 Warehouse3 私有云：存算一体架构 公有云：存算分离架构共享存储 •公有云场景支持存算分离架构，具备更好资源弹性；私有云场景支持存算一体架构，具备更健壮架构 •持久化存储基于对象存储，降低约80%存储成本，容量可弹性扩展至PB级 •本地SSD提供缓存加速能力，大部分缓存命中查询性能与存算一体持平 •计算/存储资源独立扩展，有效提升资源利用率 •多个Warehouse共享一份数据，避免集群间数据复制成本 •不同Warehouse应用在不同的业务负载。计算资源可以进行物理隔离 •具备完备的多租户权限控制（RoleBasedAccessControl） 数据库云平台-新一代云原生数据库管理架构 通准过，对可多以数让据数库据的库拓开扑发结者构以、声高明可式和用配性置、式数的据方一式致性接保入护和高和效运管维理操多作种进数行据领库域模类型建模，数据库云平台可以从中抽象出数据库容器化管理标 •数据库容器化，将数据面和管理面功能分离后，不仅将数据库生命周期管理标准化，也将运维和管理能力进行标准化 •在管理面将运维操作和经验自动化和平台化，提供丰富的数据库Day-2运维功能；实现标准化监控系统的接口和数据格式，通过插件机制可扩展支持将可观测性数据写入到监控系统、日志系统及消息中间件等，并提供丰富的可视化面板 •在数据面将数据库映射到位于四个层次的对象上：Cluster、Component、InstanceSet和Instance，形成了分层的架构，通过这些API定义组件的拓扑关系、启动的依赖顺序及引用关系等 Zero-ETL提升数据集成能力 ETL的痛点 在数据分析的场景中，通常分析型数据库本身不生产数据，数据来源于业务系统的输入。在传统数据分析应用中，ETL相关的工作量占比达到70% 旨在实现事务处理和数据分析—体化，交易型数据库数据能够 —键同步到分析型数据库，实现建仓成本的降低和入仓效率的提升 ? Zero-ETL服务 功能完备 海山数仓 •支持MySQL整库全、增量—体同步 •支持动态Schema变更:增加列、删除列、新增表 •支持多源合并能力 •服务Serverless化，根据负载动态分配资源及并行度 •全量同步20w条/s,增量同步5w条/s，对比业界竞品3w条/s •同步延时低于15s，对比业界竞品延时5min 卓越性价比 AI+数据库内核能力增强 学习型索引：通过机器学习模型来替代传统数据库索引结构，学习型索引通过使用机器学习模型来预测键的位置，从而减少索引的大小和访问次数，提高查询效率。在云原生分析型数据库场景，学习型所以可以降低对对象存储的访问开销，从而显著提升查询效率。 云原生下位图索引的困境 云原生学习型位图索引 自适应分组的学习型位图索引 性能困境：一次索引查需多次读对象存储和多次二分查询； 成本困境：多次对象存储交互导致用户成本提升。 学习数据分布特性，机器学习算法替代二分查询算法； 启发于聚簇索引，存储单元存储字典和位图； 充分利用对象存储的吞吐能力 性能表现：1.64x到2.03x。 分组模型一：数据范围分组，支持字符串的学习型位图索引； 分组模型二：数据特征分组，降低内存占用，提高查询效率。 04移动云的实践与未来展望 实践案例：移动中间号业务 项目背景 业务痛点： 移动云中间号业务深耕垂直行业语音市场，该业务将号码(A)与号码(B)通过中间号(X)灵活绑定，双向隐私通话，双方来电显示均为中间号,为滴滴、美团、阿里、腾讯、京东等超500家头部企业提供服务。中间号平台通过广州、呼和浩特两个资源池承载全国的务间号业务，采用云MySQL承载话单数据，每天基于话单数据进行运营分析查询。存量数据量约7TB，日增数据量约1亿条。 从离线数仓到实时数仓：自建数仓仅能做到T+1非实时分析，无法满足业务实时分析需求 解决方案 •实时数据分析场景 通过Zero-ETL将南北方MySQL数据实时同步至移动云海山数仓产品，以实现近实时分析MySQL中的业务数据 •数据同步时延 从MySQL数据同步到数仓中查询可用约10s。 •查询性能 使用异步物化视图优化技术,单表1亿条数据查询,时间最快可达到200ms(原Clickhouse查询时长1-2秒) 实践案例：设计院融基平台 项目背景 中国移动设计院融基平台聚焦解决质量、成本、效率和安全四大核心需求，致力于构建一站式云原生运维管理平台。其中，数据计算服务支撑数据仓库建设、数据分析和汇总分析等需求，承载调度云、门户云、用户云和设计院云的MySQL、PG的数据共享和贯通查询需求。Clickhouse替换需求，存量数据量约7亿条，存储约3TB，日增数据量约1000万条。 业务痛点：离线数仓和实时数仓共存，技术栈繁杂，维护成本不断提升；自建数仓无法满足PostgreSQL库数据源实时同步需求 建设方案 •实时同步 通过Zero-ETL实现整库全增量一体同步（270+表），以实现近实时分析MySQL中的调度表数据 •离线/在线分析 基于Multi-warehouse使用两个海山数仓实例将查询和分析库的分析需求隔离，减少峰值期的资源抢占。 •数据源扩展 海山数仓支持PostgresSQL/MySQL数据源，并实现近实时分析能力。 建设效果 实践案例：苏州银行 苏州银行实时场景承载各业务分析场景需求，业务总数据量约2PB，每日数据500G左右。基于现有建设情况，存在痛点：1，采集数据源较多，方式不统一；2，数据分析延迟高，难以满足实时性要求；3，多套技术栈资源和维护成本高。 数据源数据传输数据处理实时分析数据应用 行为分析 •实时数仓，端到端延时低于分钟 OceanBase 客户留存 1 分群分析 趋势转化属性 分析分析分析 指标 2.x •基于主键模型大幅提升 实时数据查询性能倍 GaussDB 固定报表分析圈选 Flink 客户电子透视组合分群表格分析分析 •基于物化视图实现多层面逻辑视图嵌套，降低 聚合 过滤 清洗 Oracle DIMDIMDIMDIM 绩效数仓各层级之间数据处 理延时 MySQL DTS Kafka ODS ODS DWD 物 化 视DWD 图 物DWS 化 视DWS 图 物ADS 化 视ADS 图 。。。 •湖仓一体架构降低离线 ODSDWDDWSADS 数据迁移和存储成本 外表实时访问 离线：DataLakeHouse 未来展望 云原生持续