OceanBase 4.3关键能力深度解析

OceanBase4.3关键能力深度解析 余璜 OceanBase内核产品总监 目录01更完善的OLTP Contents 持续打磨OLTP能力，提升稳定性和易用性 02全新的OLAP 构建OceanBase在线分析能力 03内核Roadmap 01更完善的OLTP 大表DDL空间优化 OLTP能力持续打磨 租户快速克隆 优化器增强 事务&日志优化 客户端本地导入 OLTP易用性提升 参数模板 索引使用监控 配置项reset 01全新的OLAP TP能力 实时写入 TP查询功能&兼容性 稳定性 扩展性容灾能力 分布式能力 支持OLAP，给开发者更好的选择 数据导入&数据加工 AP能力 AP查询 AP生态 融合 需求 读得快 算的快 T+0同步快 下单模拟场景 createtable selectwhere from selectwheregroupby from orderby desclimit 需求 读得快 列存 算的快 向量引擎 T+0同步快 实时写入 下单模拟场景 createtablet1(pkint, c1varchar(1),c2varchar(1) )withcolumngroup(eachcolumn,allcolumns); 点查、范围扫描 聚合分析 行存+列存的组合 全新的向量引擎 1弱数据类型计算 1强数据类型运算 2静态内存预分配 3自动内存管理 1向量化引擎 2基于编码的filter下压 1面向列格式向量化 第一代(2014-2017) 第二代(2017-2019) 第三代(2019-2022) 第四代(2022-至今) 二级 索引 多种 JOIN 算法 T+0的实时能力 OceanBase实时OLAP 实时导入 实时查询 支持小事务 Flink生态 高级查询优化器 向量化引擎 列存表行存表 带主键点查 需求 物化视图：减少重复计算 select Top3 MV orders宽表 按颜色聚合 select 预定量 如何更快？ 物化视图 MV刷新策略 MV刷新方法 单表聚合 多表关联 查询改写 基表 非实时物化视图 异步 定时全量刷新手动全量刷新 Yes Yes Yes 普通表已有物化视图 普通视图外表 异步 定时增量刷新手动增量刷新 Yes Yes(五表内连接) Yes 普通表 实时物化视图 异步 定时全量刷新手动全量刷新 Yes Yes(五表内连接) Yes 普通表 异步 定时增量刷新手动增量刷新 Yes Yes(五表内连接) Yes 普通表 同步(oncommit) 实时生效 Yes Yes Yes 普通表 4.3.0 4.3.1 4.3.2 暂无规划 如果您想给OceanBase一个机会，实际用一下，如何开始导数？ 旁路导入—提升海量数据导入性能 LOADDATA/*+direct(need_sort,max_error_allowed)*/INFILE'file_name'INTOTABLEtable_name; insert/*+appendenable_parallel_dmlparallel(16)*/intoto_tableselect*fromfrom_table 6000 5000 4000 3000 2000 1000 0 4xlarge(16c32G) 数据库 表的schema loadtime OB（旁路导入） 堆表 737s OB（非旁路） 堆表 5160s OB（旁路导入） 索引组织表 1402s OB（非旁路） 索引组织表 4920s Iineitem(100G)在单机c6a.4xlarge导入性能对比 单机约100w行/秒 单机约50w行/秒 丰富的OLAP场景（1）：TP增强场景 交易类业务、实时报表业务 WritesReads OBProxy 交易支付 批作业 OBServer OBServer 资源组1资源组2资源组1资源组2 P1 P2 P1 P2 P3 P4 P3 P4 OBServer 资源组2 OBServer 资源组1 资源组1 资源组2 P5 P6 P5 P6 P7 P8 P7 P8 OBServer 资源组1 资源组2 P1 P2 P3 P4 OBServer 资源组1 资源组2 P5 P6 P7 P8 •TP用行存 •AP用列存索引（降低存储开销） •隔离用资源组 ZONE_1 ZONE_2 ZONE_3 行存主副本 列存索引主副本从副本 丰富的OLAP场景（2）：Serving场景 CDC TP数据库 队列 业务日志 实时写入批量写入部分更新 Serving 报表 BI 即席查询 交互式查询联邦查询复杂查询多维查询 ODS 列存表 三方生态 在线/离线数据加工 ADS 列存表 OceanBase4.3OceanBase4.3 丰富的OLAP场景（3）：轻量数仓场景 ODS DWD DWS ADS OceanBase4.3 行存表列存表 物化视图 物化视图 列存表 报表 数仓&Serving TP数据库 队列 业务日志 CDC 实时写入批量写入部分更新 交互式查询联邦查询复杂查询多维查询 BI 即席查询 丰富的OLAP场景（4）：轻量实时数仓场景 OceanBase4.3 ODS DWD 多源合并 DWS 指标计算 ADS Flink SQL-1 SQL-2 SQL-3 维度表 行存表列存表 列存表 列存表 列存表 报表 即席查询 FlinkCDC OceanBaseTP数据库 队列 业务日志 维表关联 变更日志 实时写入 交互式查询联邦查询复杂查询多维查询 BI OceanBase4.3OLAP性能提升 TPC-H1T性能提升25% 各版本RT对比 45 40 35 30 25 20 15 10 5 0 Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 Q11Q12 v4.2 Q13 v4.3 Q14 Q15 Q16 Q17 Q18 Q19 Q20 Q21 Q22 v3.2.4 V3.2.4 V4.2.0 V4.3.0 148.41s 123.89s 98.54s OceanBase4.3OLAP性能提升 TPC-DS1T性能提升112% v4.2与v4.3的RT之比 10 1 Q1Q3Q5Q7Q9Q11Q13Q15Q17Q19Q21Q23Q25Q27Q29Q31Q33Q35Q37Q39Q41Q43Q45Q47Q49Q51Q53Q55Q57Q59Q61Q63Q65Q67Q69Q71Q73Q75Q77Q79Q81Q83Q85Q87Q89Q91Q93Q95Q97Q99 0.1 V4.3性能回退 V4.3性能提升 V3.2.4 V4.2.0 V4.3.0 4195.18s 1519.41s 717.62s 01内核Roadmap OceanBase内核2024Roadmap 2024Q1 2024Q2 2024Q3 2024Q4 存算分离性能优化稳定性 增量旁路导入增强 （索引表，LOB列）Parquet、ORC作外表 Bitmap Array Vector 分区交换 增量旁路导入 物化视图（多表连接、自动改写） 全文索引 JSON多值索引 列存表列存索引物化视图 全新向量化引擎 谢谢 谢谢 谢谢