从 TP 到 AP, OceanBase OLAP 核心技术详解

OceanBase 核心特性与能力总结

01 OceanBase 简介

• 发展历程：OceanBase 作为稳定可靠的金融级分布式数据库，具备高性能、高可用、高可扩展等特性。
• 产品功能特性：
  • 高性能：TPC-C 测试达 7.07 亿 tpmC，打破世界纪录。
  • 高可用：RPO=0，RTO<8s。
  • 高可扩展：支持水平和垂直扩展，自动负载均衡。
  • 兼容性：兼容 Oracle/MySQL，业务少量修改即可迁移。
  • 架构：单机分布式一体化，无共享集群，OBServer 包含 SQL、存储、事务。
  • HTAP：同一套引擎支持 OLTP 和 OLAP 混合负载。
  • 成本：LSM-Tree、编码压缩，存储空间仅为 MySQL/Oracle 的 1/3。
  • 多租户：原生多租户支持，适合微服务架构和 SaaS。
  • 安全：透明加密、传输加密、安全审计。
  • 国产化：适配鲲鹏、海光等芯片。
  • 产品体系：涵盖开发（ODC）、评估（OMA）、迁移（OMS）、运维（OCP）、诊断（OAS）。

02 分布式事务与架构

• 两地三中心：高可用架构设计。
• OceanBase 4.x 整体架构：对等节点，无共享集群，OBServer 集成 SQL、存储、事务。
• 单机分布式一体化：日志流技术，多个分区可共用一个日志流，低时延分布式处理。

03 SQL 并行执行

• 自适应 TP+AP 混合负载执行引擎：支持并行执行调度，提供丰富的分布式执行策略。
• 示例：通过分区和并行优化，提升复杂查询性能。

04 高级查询优化器

• 一阶段分布式查询优化：将两阶段优化变为一阶段，避免不优的计划，秒级完成多表连接优化。
• 并行下压：将计算下推至存储层，提升效率。
• 示例：通过并行下压优化聚合查询。

05 行列混合存储引擎

• 存储引擎：支持行列混合存储及编码压缩。
  • 编码：按列编码，提升数据相似度，微块自主选择，经验推导。
  • 解码：无需解压直接查询。
  • 效果：存储空间仅为 MySQL/Oracle 的 1/3，查询缓存使用效率提升。
• 查询过滤下压：谓词算子下压，利用编码聚合信息快速过滤。
• 向量化：按列批量解码，SIMD 加速。

06 资源隔离与 HTAP

• 多租户：一个集群支持多个租户，资源隔离与共享，大小租户独立扩缩容。
• 混合负载资源隔离：适合微服务、SaaS 和集团化数据管理。

07 快速导入

• 旁路（directpath）导入：快速执行路径，优化写入放大问题，避免表锁阻塞写入。

08 小结：OceanBase 的 OLAP 能力与特性

• OLAP 功能特性：
  • 复杂查询、分析函数、层次查询、表函数、自定义管道函数等。
  • 支持 JSON、GIS 类型，UDF、自定义聚集函数，dblink 等。
  • 导入（loaddatainfile、obloader、快速导入）、导出（selectintooutfile、obdumper）、联邦查询。
• 核心优势：
  • 稳定可靠、高可扩展、高可用。
  • 并行执行引擎、高级查询优化器。
  • 低成本高性能行列混合存储。
  • 多租户与 HTAP 资源隔离。