从 TP 到 AP, OceanBase OLAP 核心技术详解

张鑫北京奥星贝斯科技有限公司OceanBase开源架构师 DataFunSummit#2023 Contents目录 01OceanBase简介02SQL并行执行04行列混合存储引擎05资源隔离03高级查询优化器06快速导入 01 OceanBase简介 OceanBase发展历程 OceanBase产品功能特性 •高性能：TPC-C7.07亿tpmC打破世界纪录•高可用：RPO=0，RTO<8s•高可扩展：水平和垂直扩展，自动负载均衡，弹性扩缩容•Oracle/MySQL兼容：业务少量修改即可迁移到OB，自动评估和迁移工具•单机分布式一体化：高效单机和分布式，按需转换•HTAP：同一套引擎同时支持OLTP和OLAP混合负载•低成本：LSM-Tree，编码压缩，存储空间MySQL 1/3•原生多租户：集中管理多个业务数据，适合微服务架构和SaaS行业应用•安全：透明加密、传输加密，安全审计，细粒度权限•国产化：适配鲲鹏、海光等芯片•完备产品体系：开发（ODC）、评估（OMA）、迁移（OMS）、运维（OCP）、诊断（OAS） 分布式事务 两地三中心 OceanBase4.x整体架构 对等节点 •无共享集群•OBServer包含SQL、存储、事务 高可扩展性 •按分区做数据分片扩展•多Zone多活扩展 单集群规模 •TPC-C使用1557节点 单机分布式一体化 •日志流：数据库的所有变更•多个分区可共用一个日志流•单机内无分布式事务•低时延分布式处理技术 稳定可靠的金融级分布式数据库 OLTP能力试金石：TPC-C打破纪录 TPC-C打破世界纪录 •TPC-C是国际最权威的OLTP评测 •严格ACID测试•第一个通过TPC-C的分布式数据•第一个通过TPC-C的中国数据库 •事务模型•New-Order事务10%分布式 •性能表现 •稳态运行8小时tpmC抖动小于1%•平均23分钟完成一次快照 OLAP小试牛刀：TPC-H30,000GB打破纪录 •OceanBase3.2TPC-H整体性能提升620% •优化器•优化时间提升10倍；新增改写规则•直方图；统计信息管理•全新SQL执行引擎•Cache友好：强类型、向量化执行•MPP&SMP并行执行框架（64节点4096并行度）•并行DML、超大事务支持 OceanBase4.0OLAP能力增强 性能提升3.4倍 •918s->270s•一阶段分布式查询优化•自适应执行引擎•三阶段并行下压 SQL并行执行 自适应TP+AP混合负载的执行引擎 并行执行调度 丰富的分布式执行策略 CREATE TABLE R1(a int, b int, c int) PARTITION BY HASH(b) PARTITIONS 4;CREATE TABLE R2(a int, b int, c int) PARTITION BY HASH(b) PARTITIONS 4; 自适应执行 create table R1(a int primary key, b int, c int) partition by hash(a) partitions 4;select b, sum(c) from R1group byb; 03 高级查询优化器 一阶段分布式查询优化 两阶段变为一阶段 •避免不优的计划•执行计划包含分区位置信息•秒级完成50表连接的优化 并行下压 create table R1(a int, b int, c int, d int, primary key(a,b)) partition by hash(b) partitions 4;select sum(distinct c)from R1 where a = 5; 04 行列混合存储 OceanBase存储引擎 行列混合存储及编码压缩 •编码 •按列编码•提升数据相似度•规则发现•微块自主选择•经验推导 •解码•无需解压,直接查询 •效果•存储空间是MySQL/Oracle1/3•查询缓存使用效率提升 查询过滤下压 •谓词算子下压•利用编码聚合信息快速过滤•按列过滤充分利用剪枝 •向量化 •按列批量解码•SIMD加速 05 HTAP资源隔离 多租户 一个集群多个租户•多种租户类型并存•资源隔离与共享•大小租户独立扩缩容•统一运维管理解决业务痛点•适合微服务应用架构•适合多租户SaaS服务•适合集团化数据管理 混合负载的资源隔离 05 快速导入 旁路（directpath）导入 •快速执行路径•优化写入放大问题•表锁阻塞写入 旁路导入性能 小结：OceanBase的OLAP能力和特性 OLAP功能特性 基本能力 •复杂查询（大量表JOIN、复杂子查询）•分析函数（窗口函数、rollup）•层次查询（connectby）•表函数（fromtable）•自定义管道函数（pipelinedtable）•JSON、GIS类型•用户自定义函数UDF•自定义聚集函数•异构数据库集成：dblink•导入：loaddatainfile,obloader,快速导入•导出：selectintooutfile,obdumper•联邦查询：外表 •稳定可靠、高可扩展、高可用•并行执行引擎•高级查询优化器•低成本高性能行列混合存储•多租户与HTAP资源隔离 参与社区互动，留下你的足迹 社区答疑群 加入群聊 Supports: @Alex wang,@chen~,@liying1029,and5.5Kothers starred this repository. @xSky,@1008610010,@lxiuwenL,and1.2Kothersforked this repository. 感谢观看