1+1＞2：OceanBase在多模一体化融合的探索

1+1>>2 OceanBase在多模一体化融合的探索 张易 OceanBase资深技术专家 多数据库系统使用的问题 问题 业务诉求 题本 KV V Document Spatial V V V OLTP OLAP WideColumn 备份恢复 标 文 工作量 N现网巡检 安全与合规 性能调优 kKkk 故障排查维护升级 SQL引擎 基础类型 Int/Varchar/Date.. 多模类型 JSON/GIS/XML.. 优化器/执行器 多模KV KV HBase Redis TableAPI 工具体系 备份恢复 OCP OMS ODC OceanBase多模融合一体化引擎 分布式存储引擎 行存 行存 基于统一的分布式存储引擎构建/多模融入一体化SQL引擎 多模一体化运维 基础引擎红利*N 多模融合一体化价值 多模融合价值 多模融合计算 多模融合存储 数据库优化器：选出最优执行路径 融合计算的价值–选择最优的执行代价 OLTP Spatial Vector 查询离我最近的,评分四分以上的奶茶店中评价最好的10条评论 评价最好：向量索引查询 离我最近：空间索引查询 评分四分以上：普通类型索引 Join Json_Table/XML_Table等做模型转换 树形数据组织 Join 文档数据 融合计算的价值–异构数据无缝转换&计算 关系数据 业务 XMLAGG/JsonAGG等 关系数据1 关系数据1 关系数据2 标 题文 本 空间轨迹数据 Point<double,double>数组 关系数据 半结构化数据 存储Encoding 极致压缩比 文档数据 关系数据 融合存储的价值–复用存储降本红利 OBKV-HBase–Hbase在大数据处理中的应用场景 OBKV-HBase：专注海量半结构化/结构化数据简单存取 •海量数据预处理以及存储 •实时查询1：ETL中数据交互以及AP中维表查询 •实时查询2：数据分析结果集供业务高速访问 OBHBase OBKV-HBase–适用场景对比 Schema API 灵活度 性能 压缩比 HBase替换场景 结构化数据 标准SQL 索引&灵活算子 OBTP 基线性能 N倍开源HBase ApachePhoenix Schemaless 兼容HBase接口 简单get/Put等 +30%OBTP基线 同等开源HBasePut 4倍开源HBaseGet 优25% 开源HBase 开源HBase OBSQL 基于OB强大TP引擎：OBSQL&OBKV-Hbase全场景覆盖HBase生态场景 Kafka(原始事件数据） Flink(Split) 用户数据（不完整） 事件数据（加工后） API补数据 Flink(Merge) Put Put 1.每天几十亿的入库，极致的BatchInsert性能 2.维表和实时表存储的数据有嵌套结构，并且需要极致的增量更新能力 3.需要极致的点查性能 OceanbaseHbase 开源HBase Get Kafka(同步给下游） Hbase替换场景介绍 Kafka OLAP引擎 1.对数据库只有简单的KV操作 2.ETL过程中做Get，需要极致的点查性能 3.适用SQL接口友好 Flink 实时ETL Key Key&Value 字典服务API 字典注册 字典生成 OceanbaseSQL 开源HBase OBKV-Redis–兼容Redis接口的持久化数据库 Oceanbase存储引擎 热数据 RowCacheBlockCache 冷数据 SStable 1.满足80%场景场景的RT以及吞吐 2.适合Redis+RDS架构中，数据访问存在冷热的场景，冷数据在磁盘，热数据在内存。 3.数据库自动解决数据一致性问题，业务可以把“Redis”当真正的数据库使用 缓存数据库一体化：给80%Redis+RDS架构的场景降本 业务 读Cache 写Cache 1.数据放在内存更贵 2.架构复杂，缓存数据库一致性处理麻烦 3.80%场景不需要极致的RT 写DB 读DB 内存:数据(随机访问) TPS AVGRT(us) P99RT(us) 10% 43133 1151 6899 20% 59860 829 5991 50% 276292 713 2109 100% 331641 584 1464 100% 383729 1008 3101 Redis替换场景介绍 缓存数据库一体化：给80%Redis+RDS架构的场景降本 成本收益 1.原始数据158G，12C40GOBKV-Redis租户，OBKV-Redis存储95G 业务1 业务2 业务3 2.单核6kTps，P901.9ms,P952.2，p996.3 3.单集群多租户混合部署，额外降本 业务1业务2业务3 Oceanbase集群 一体化收益 1.缓存数据库一体化，简化业务使用 2.复用OB数据库多租户，Encoding等基础技 租户1(Redis) 租户4(Mysql) 租户2(Redis) 租户5(Mysql) 租户3(Redis) 租户6(Mysql) 术，享受DB基础组件降本红利 3.复用OB数据库基础组件，Redis&RDS一体化运维 谢谢 谢谢 谢谢