PingCAP-孙晓光-TiDB Serverless 的云原生架构进化：从0到2万+集群的极速狂奔

TOP1100100 n主办方msup nn1nni0010010010 TiDBServerless的云原生架构进化nn 从到2万＋集群的极速狂奔 nn00100i00i0010 inn 孙晓光PningCAPTiDBServerless研发负责人 i0n nn001000000 0n100i00 TOP1 wwwww.towp1.ot0osupmm1it.0co0msummit.com msup 孙晓光 TiDBServerless研发负责人 TiDBServerless研发负责人，致力于为应用开发者提供简单易用 且同云上应用生态深度整合的全托管TDB服务。曾就职于知乎担 任技术平台负责人1从事存储和数据库相关产品研发工作十五年。 关注云原生技术，TiKV项目Maintainer。 77 讲师简介 TOP1 wwwww.towp1.0t0soumpm1it.0co0msummit.com 100 msup 目 01.i 背景介绍 03架构进化 02TiDBServerless 04敏捷开发 TOP1 wwwww.towp1.0t0soumpm1it.0co0msummit.com msup 背景介绍 TOP1 wwwww.towp1.0t0soumpm1it.0co0msummit.com msup 关于TiDB TiDB 35.4K+Stars 3K+Adopters 849Contributors https://github.com/pingcap/tidb *数字来源于GitHubTiDB开源项目仓库首页：https://github.com/pingcap/tidb *数字截载至2023/12/15 TOP1 wwwww.towp1o.0tsoumpm1it.c0om0summit.com msup 关于TiDB 水平扩展OLTP 分布式架构/支持事务一致性/兼容MySQL生态 业务连续性 10TiDB HTAP* 高可用，自动故障迁移 在线DDL变更 零停机时间 在线事务与实时在线分析 HTAP:HybridTransactionalandAnalyticalProcessing TOP1 wwwww.towp1.0t0soumpm1it.0co0msummit.com 10n msup 关于TiDBCloud TiDBCloud 全托管数据库服务 ⦿⦿⦿⦿⦿ 2019.12 Alpha 2021.05 PublicPreview 2022.03 DedicatedGA 2022.11 ServerlessBeta 2023.07 ServerlessGA TOP1 wwwww.towp1.ot0soumpm1it.0co0msummit.com 10n msup 关于TiDBCloud TiDBCloud 全托管数据库服务 TiDBDedicated TiDBServerless •、独占计算和存储资源•·全自动弹性 •全面的TiDB控制能力•·每用户5个免费集群* *每集群免费提供5GiB行存和5GiB列存的存储空间和50MRU的使用额度 TOP1 wwwww.towp10.0tsoumpm1it.c0om0summit.com msup 关于TiDBCloud 全托管TiDB云服务 业务连续性 简单的计价方案 一键部署 多可用区复制每日自动备份时间点恢复 按实际使用付费 TOP1 wwwww.towp1.0t0soumpm1it.0co0msummit.com msup TiDBServerless TOP1 wwwww.towp1.0t0osupmm1it.0co0msummit.com msup 什么是Serverless数据库 像AmazonDynamoDB? ·•全托管可自动扩展？ •·高吞吐、无限容量？ ·•高并发、低延迟？ ：•面向短链接的协议？ 像AmazonAuroraServerless? ：•不频繁、间歇性或不可预见的工作负载？ •·不到1秒的时间即可透明扩展？ •仅为使用的容量付费？ TOP1& wwwww.towp1.0t0osupmm1it.0co0msummit.com UUL msup 什么是Serverless数据库 serverless服务不关乎某种具体的技术架构和技术特点。它对 用户的核心价值在于无需关心基础设施情况下满多样化工 作负载的要求，同时为客户提供定价合理并按实际使用付费的 高性价比服务。 TOP1 wwwww.towp1.0t0osupmm1it.0co0msummit.com UUL msup 为什么选择Serverless数据库 成本效益 ：•只为实际使用付费 敏捷商业 •避免管理基础设施的负担 ：•系统能力随业务增长自适应增长 ：•更短的产品上市周期 TOP1 wwwww.towp1.0t0soumpm1it.0co0msummit.com 10n msup TiDBServerless MySQL 兼容 熟悉的技术栈和工具 零停机 时间 高可用保障业务连续 实时 洞察 内五HTAP能力 实时洞察在线交易 全服务化 模式 完全弹性的数据服务 弹性 随时应对业务增长和流 量激增 无缝 杜绝 浪费 只为实际使用至付费 TOP1& wwwww.towp1.0t0osupmm1it.0co0msummit.com UUL msup 问题与挑战 支撑数万、数十万、数百万甚至数千万集群？ 免费用户为主的基础上构建商业？为升发者提供一流的开发使用体验？ TOP1 wwwww.towp1.0t0soumpm1it.0co0msummit.com msup 架构进化 TiDBServerless架构 msup 共享接入 GatewayGatewByGateway 资源池 TiDB 独占计算资源 虚以群-租户1 TIDBMPP 虚拟集群一租户2 TiDBMPPMiPr 虚以集群-租户n TiDBTiDB TIDB TiDB 共享缓存 共享对象存储 RowEngineRowEngineRowEngine SharodStorage ColumnarCalumnarColumnar EnglneEngineEngine MPPwarker MPPwarker Service TOP1 wwwww.towp10.0tsoumpm1it.c0om0summit.com 10n 共享内部服务 CompactionAnalyzeDDLRemoteCopr Service TOP1 wwwww.towp1.0t0soumpm1it.0co0msummit.com 10n msup TiDB架构 计算 TiDB TiDB MPP MPP MPP MPP 存储 RowEngine RowEngine RowEngine Columnar Englne Calumnar Engine Columner Engine TOP1 wwwww.towp1.ot0soumpm1it.0co0msummit.com 100 msup 多租户 网络接入 •Gateway 租户资源池 •TiDB(TP) •TiFlashMPP(AP) •Services(后台任务如DDL、TTL、Compaction和Analyze) 共享资源 •PD •TiKV(行存储) •TiFlash(列存储) TOP1 wwwww.towp1.0t0soumpm1it.0co0msummit.com 10n msup Gateway Row-basedEngine ColumnarEngine SharodStorage ComputeCompute Compute Compute 弹性资源 闲时归零 ：•不占用任何计算资源 瞬时唤醒 •·随需分配计算资源 自动扩容/缩容 •随流量增大动态分配资源 TOP1 wwwww.towp10.0tsoumpm1it.c0om0summit.com msup TiDB✁云原生 弹性资源 ·•纵向扩容 亚马逊云科技 AmazonS3 A AmazonEks •横向扩容 共享存储 •99.999999999%持久性 ·•弹性任务 •·分级存储 TOP1+ wwwww.towp10.0tsoumpm1it.c0om0summit.com 10n msup TiDB✁云原生 微服务化 EC2instance Graviton2 X86 Graviton3 Instance SpotInstance Instance X86 Instance 感 X86 Gravlton2 SpotInstance X86 Instance Gravlton2 Gravlton2 SpotInstanceInstanceSpotInstanc白 •TiDB •PD •TiKV TOP1 wwwww.towp1.0t0soumpm1it.0co0msummit.com msup 敏捷开发 TOP1 wwwww.towp1.0t0soumpm1it.0co0msummit.com msup Python C# Ruby Java 流行开发语言兼容 GO Golang JS php JavaScript PHP C Scala Rust TOP1 wwwww.towp1.0t0soumpm1it.0co0msummit.com msup 流行应用框架兼容 django SQLAlchemy HIBERNATE Laravel RAILS MyBatis GORM Prisma spring TOP1 wwwww.towp1.0t0osupmm1it.0co0msummit.com 10n msup Vercel PACHE Spark Airbyte HashiCorp Terraform Flink Xdbt zapier 1 DATADOG databricks Prometheus CONFLUENT QuickSight Metabase C Grafana arcion 流行生态集成 TOP1 wwwww.towp1.0t0soumpm1it.0co0msummit.com msup Backcnd Service Model Application Interface BackendforFrontend MoblleApps WebApps OpenAPl Infrastructure ...... Mcssaging Cachc Databasc Interface Verccl Apps TiDBCloud DataService Branch Scrvcrless ClaudPravider Saas Paas seel Dovelopers PIngCAP Developars Cloud Providers 敏捷开发 TOP1 wwwww.towp1.0t0soumpm1it.0co0msummit.com 10n msup 敏捷开发 Branch:A Branch:C Branch: