携手开发者打造一体化数据库

携手开发者打造一体化数据库 杨传辉 OceanBaseCTO OceanBase0.1~0.5 单写多读架构 OceanBase1.x~3.x 全分布式架构 OceanBase4.0～4.2 单机分布式一体化架构 OceanBase4.3～ 一体化数据库 架构演进：从单机分布式一体化，到一体化数据库 2010~20152016~20212022-20232024～ 01回顾开源 性价比 稳定 2021.6.1：为什么开源社区需要“另一个”原生分布式数据库？ 今天：OceanBase社区版集群数成功破万 12500 1.08万 10000 9367 7500 6470 7283 5079 5000 3789 2500 145 547 977 1578 2413 0 2023.062023.072023.082023.092023.12023.112023.122024.012024.012024.032024.04 来源：Gartner《MagicQuadrantforCloudDatabaseManagementSystems,18December2023.》。Gartner是全球最具权威的IT研究与顾问咨询公司之一，其研究范围覆盖全部IT产业，为客户提供客观、公正的论证报告及市场调研报告。 来源：《IDCMarketScape:中国分布式关系型数据库2023年厂商评估》。IDC成立于1964年，是全球著名的信息技术、电信行业和消费科技咨询、顾问和活动服务专业提供商。 墨天轮中国数据库流行度排行 来源：墨天轮国产数据库流行度排行。该排行自2019年6月推出，通过近50个维度的 数据来考察近300个国产数据库的流行度，每月1日更新排行数据，用于体现国产数据库在互联网上的流行度。 IDC 显示 OceanBase位列“领导者”类别。作为一款原生分布式数据库，OceanBase在产品能力上表现突出，处于领先地位。 Gartner显示 2023年，全球仅有10家厂商入选Gartner®全球云数据库管理系统魔力象限“荣誉提及”，OceanBase入选。 墨天轮显示 OceanBase在“墨天轮中国数据库流行度排行”中连续14个月排名第一（截至2024年1月），并持续保持领先趋势。 用户将OceanBase社区版应用在分布式OLTP场景 … … 按需扩容 15TB 6TB 60% RPO=0RTO<8s DB1 DB2 DB3 DB4 DB5 PROXY DB1S1DB1S2 DB2S1DB2S2 DB3S1DB3S2 DB4S1DB4S2 DB5S1DB5S2 DB1 TableA1 OceanBase集群 Kafka 微信推送实时数仓 DB1 TableA2 TableA DB5 TableAn Flink OMS READ WRITE 通过OceanBase：原生分布式替换分库分表，解决无缝扩展问题 多云多活 HTAP MySQLOceanBase 24Nodes60%9Nodes 阿里云 腾讯云 百度云 应用User-Ali 应用User-Tx 应用User-Bd 1.用户分片 2.Leader调度 3.云内业务闭环读写 ZONE-1 OB1 ZONE-2 OB1 ZONE-3 OB1 ZONE-4 OB1 ZONE-5 OB1 User-Ali OB2 OB2 OB2 OB2 OB2 User-Tx OB3 OB3 OB3 OB3 OB3 User-Bd OB4OB4OB4OB4OB4 通过OceanBase：高可用实现多云环境下的多活架构 多租户整合 压缩比6:1 单机QPS OceaySQL nBase>M 小商户A 中型商户B日常业务增长 中型商户C增长为大商户 大商户D大促扩容 小租户12C8G 小租户12C8G 中型租户28C16G 中型租户216C32G 弹性扩展 大型租户332C128G 大租户348C160G 中型租户416C64G 中型租户516C64G 小租户62C8G 原地升配 大型租户432C128G OBServer1 OBServer2（弹性扩展） 小租户72C8G OBServer3（弹性扩展） 通过OceanBase：多租户提升资源利用率，同时降低管理成本 无需分库分表 存储 85% 写入提升数倍 智能管控 源数据库 + + 监控 运行 配置中心 MySQL MySQL MySQL 读取 校验 删除 执行节点1 执行节点2 灰度 流控 Job1 Job1 存储 均衡 自愈 任务调度 Job2 Job2 历史数据归档库 ··· ··· OceanBase OceanBase OceanBase 通过OceanBase：存储历史库海量数据，降低存储成本 用户也将OceanBase社区版应用在实时AP、多模场景 HBase+Kafka+StarRocks OceanBase 时效 50% 成本 50% canal Kafka topic1 Kafka Flink HBaseCDC Flink topic2 宽表topic Dashboards topicn canal Kafka topic1 Flink Flink topic2 Dashboards topicn 通过OceanBase：HTAP弥补TP与AP之间的空白 不依赖Hadoop组件支持二级索引 查询2~5倍 写入5倍 Kafka Flink 实时ETL OLAP引擎 Key Key:Value 字典服务 API 字典注册 字典生成 存储服务 HBase->OceanBase 通过OceanBase：多模能力替换HBase，提升性能并实现强一致 为什么开发者天然地把OceanBase当成一体化数据库？ LSM-Tree 分布式 分布式架构与LSM-Tree存储引擎适合海量数据场景 开发者驱动OceanBase成为All-in-one一体化数据库 All-in-one降低IT成本 分布式TP分布式AP多模 一体化存储引擎一体化事务引擎一体化SQL引擎多模（KV&文档&AI等）多架构基础设施一体化 02 一体化 对开发者意味着什么 单机分布式一体化：一套系统，从单机到分布式，对用户完全透明 可大可小 平滑伸缩 小规格部署 单机主备 RTO<8s 多模融合 数据库 成本降低 数据库运维 复杂度降低 易扩展 数据操作更灵活 一套引擎 一个数据库 一份数据 多种数据模型 多种操作方式 SQL 查询 OceanBase分布式数据库内核 k v v v v KV 插入 HBase 插入 增加一种查询接口，而不是增加一款数据库 Kkk 交易型应用 分析型应用 数据无延迟保证一致性 一个系统，行存/列存混存 主副本提供HTAP服务 适合OLTP+轻量OLAP HTAP=OLTPPlus 主备副本之间有毫秒级延迟 交易型应用分析型应用 一个系统，行存+列存 适合 OLTP+中等OLAP 主副本OLTP+备副本实时OLAP ； 收益 1.HTAP实现一份数据两份收益，简化架构，AP性能提升30%； 2.基于Paxos提供7*24小时持续服务，原生分布式提供无限扩展能力； 3.OceanBase高压缩和动态伸缩特性避免资源浪费，TCO下降35%； 通过OceanBase：HTAP实现一份数据两份收益，助力海底捞数据化转型 可用区1可用区2可用区3 会员 营销交易社区排号 POS Tenant1 Tenant1 Tenant1 Tenant2 Tenant2 Tenant2 Tenant3 Tenant3 Tenant3 DTS Tenant4 Tenant4 Tenant4 Tenant5 Tenant5 Tenant5 AnalyticDB Tenant6 Tenant6 Tenant6 PolarDB单实例 PolarDB-X分库分表 挑战 1.OLTP：日常并发流量高，节假日流量突增，高峰过后需及时缩容避免资源浪费； 2.OLAP：实时分析每个人的口味和喜好进行智能推荐，要求高实时性、低时延； 3.现有架构(PolarDB+AnalyticDB)链路复杂且同步存在时延，两份数据带来额外的成本 TP能力 实时写入 TP查询功能&兼容性 可靠性 扩展性容灾能力 分布式能力 数据导入&数据加工 AP能力 AP查询 AP生态&大数据生态 融合 TP&AP一体化的另一层含义：把分布式TP的核心能力融入到AP OceanBase4.3正式发布 推出列式存储引擎，强化TP&AP一体化，打造近PB级实时分析数据库 AP兼容性 兼容MySQLBI生态 兼容MySQL协议 无缝接入MySQLBI生态软件 兼容OraclePL脚本 支持Oracle数据仓库建模PL/SQL AP易用性 AP参数模板 白屏化、向导式选型OLAP内核参数模版基础用户免参数调优 AP场景化文档 提供场景化指导文档和Demo AP分析能力 数据集成高级存储功能 旁路导入+外部表+DBLink列式存储，行式存储，行列混合快速集成外部数据等存储方式并支持格式互换 支持行存索引，列存索引 AP计算能力 物化视图、联邦查询、窗口函数、CTE、层次查询、计算下推 分布式计算 MPP架构，向量化执行引擎AutoDOP并行计算SPM执行计划自动迭代 �结构化数据处理 支持JSON、XML、GIS和LOB数据类型 流式分析 兼容FlinkCDC、Flink状态存储Flink外表查询,Flink流式分析 TP能力持续打磨 KV性能优化 相比4.2.1，单行读写提升70% 批量读写提升80%~220% SQL&事务&日志优化 优化器增强，自适应代价模型降低日志传输带宽 提升PDML并行执行扩展性 租户快速克隆 快速复制租户 降低新业务试错运维成本 AP性能提升 AP性能优化 相比4.2.1，TPC-H1T提升25%TPC-DS1T提升111% 旁路导入 加载数据场景性能提升6倍 OceanBase4.3正式发布｜强化TP&AP一体化，打造近PB级实时分析数据库 这一次，我们一起现场见证OceanBase分析型负载跑分测试 PK业内一流的列式大宽表数据库ClickHouse 同等硬件条件下，OceanBase4.3版本的大宽表查询性能达到ClickHouse同一水平 OceanBaseAll-in-one一套系统支撑各种应用场景 ExpressOLTP ComplexOLTP OBKV HTAP 实时AP 互联网应用简单的CRUDSQL大量点查，高并发 传统行业应用，有复杂查询大量PL和批作业 KV表模型访问模式单分区访问，无SQL层 TP增强混合负载在线分析处理和数仓 即席查询 基于OceanBase构建轻量级实时分析数据库 实时写入 TP数据库 批量写入 队列 部分更新 ODS DWD DWS ADS 交互式查询联邦查询复杂查询 多维查询 业务日志 OceanBase4.3 行存表 /列存表 物化视图 物化视图 列存表 报表 BI CDC 数仓&Serving OceanBaseAP致力于打造PB以下实时分析数据库的最强六边形战士 AP工具生态 数据流入流出、数据开发、数据可视化 AP计算能力 向量化执行、并行计算、分布式优化器 AP存储能力 兼容性 列式存储MySQL语法、Binlog兼容 TP能力 行式存储、实时写入，主键索引点查 分布式 可扩展、高可用、强一致、异地容灾 Q1 Q2 Q4 Q3 What’sNext 2024 列存表列存索引物化视图 全新向量化引擎 分区交换增量旁路导入 物化视图（多表连接、自动改写）全文索引 JSON多值索引 增量旁路导入增强（索引表，LOB列）Bitmap Array