云原生数据库Serverless+AI，助力降本增效

云原生数据库Serverless+AI 助力企业降本增效 主讲人：陈昊 腾讯云数据库高级产品经理 目录 •TDSQL-CServerless架构及降本能力 •应对负载不定场景下的弹性能力 •弹性伸缩过程中的稳定性保证 •AI助力打造智能数据库 •典型应用场景 01TDSQL-CServerless架构及降本能力 Introductiontothearchitectureandcapabilityofcostreduce 传统云数据库 同机部署计算和存储，剩余资源难以利用 Binlog 存储10% 数据库实例2 计算90% 计算10% 数据库实例1-从 存储90% 计算10% 数据库实例1-主 存储90% 横向扩展耗时长 进程常驻,无使用也计费 Binlog同步,主从易延迟 规格固定,需提前扩缩容 存算一体,较易产生碎片 云原生数据库Serverless的发展必然性 TDSQL-CServerless 实例1存储70% 实例2存储20% 分布式池化存储 解耦计算与存储，资源利用率高，跨机扩容快 Redolog 计算20% 数据库实例2计算 计算90% 数据库实例1计算-从 数据库实例1计算-主 计算90% 秒级横向扩容 自动启停,无使用不计费 Redolog同步,主从延迟极低 纵向弹性规格,无需提前扩缩容 存算分离,不会产生碎片 TDSQL-CServerless架构介绍 计算层、存储层依托TDSQL-C架构 •计算节点秒级伸缩，支持跨机弹性 •存储层池化资源，秒级可拓展性存储 VPC访问 API访问 FaaS 恢复感知器 接入层 管控发起启停任务、监控资源使用情况 •触发扩缩容 •暂停计算层 •上报计费 管控组件 恢复/暂停实例 上报 管控层计算层 调度计算节点 暂停恢复 日志下沉页面读取存储层 利用恢复感知器秒级冷启动，链接保持不断 秒级监控组件 采集存算用量采集 弹性存储 秒级采样，按量计费，不使用不付费 普通集群 TDSQL-C-Serverless CCU CCU TDSQL-CComputeUnit =max(CPU,MEM/2,最小规格) 资源包 预付费付费方案 对比同规格包年包月刊例价最高降低25% 实时 按实时的CCU计费计算资源 5S 采样频率 时刻点 CPU(核) MEM(GB) 最小规格(核) CCU 10:12 0 0.1 0.25 0.25 10:13 3 1.0 0.25 3 ... ... ... ... ... 10:18 0 1.6 0.25 0.8 可释放存储 实例暂停后，分布式存储数据进行归档 归档存储成本更低，最高可降低存储80%成本用户无需承担实例暂停后高昂的存储费用 SQL 请求 共享分布式存储池 归档存储池 监控与计费 管控 计算节点 接入层 灵活存储 根据用户自定义属性灵活进行存储归档 极致成本压缩 归档存储成本最高可降低80%存储费用 快速恢复 数据恢复中对业务无损 可释放存储，进一步压缩存储成本 02应对负载不定场景下的弹性能力 Elasticitytocopewithscenariosofunpredictableloads 其他方案 资源阶梯限制,弹性能力受限 内存满载 IO受限 极致纵向弹性,资源如水源般可涓流可倾泻 TDSQL-CServerless CPU Mem t1 t2 t3 t4 资源 自动扩容 后仍受限 再次扩容 满足需求 低负载 t1 t2 t3 t4 时刻 CPU Mem t1 t2~t4 资源 低负载 t1 t2 t3 t4 时刻 资源最大化提供,即时满载 BP扩容 BP扩容 内存上升 Proxy(Serverless) 纵向弹性 RWVPC ROVPC RW Serverless/normal RO Serverless 纵向弹性 RO Serverless 横向弹性 Serverless混合集群架构 归档存储 共享分布式存储 精准调度 调度器全方面分析资源使用情况 保证资源合理使用 数据库代理 读写分离,负载均衡业务无需扩缩容情况 资源混部 主从节点形态可不同,丰富业务场景 集群级SERVERLESS 资源细粒度更高,各节点可独立弹性 极致横向弹性,混合集群版serverless助力全场景应用 03弹性伸缩过程中的稳定性保证 Stabilityassuranceduringtheprocessofelasticscaling 链接不断秒级冷启动 TCP三次握手后交换鉴权信息 存算 4 成功恢复 2通知管控恢复实例 3 用户不再连接后t秒 管控 接入 恢复感知器 存算 成功暂停 5管控 监控存算资源用量 3 监控存储资源用量 5 接入 1 TCP三次握手后 交换鉴权信息 恢复感知器 不断首连 恢复感知器保持用户连接通知管控恢复数据库实例 <2000MS 用户首连至登录成功时长 自动暂停 暂停时延内无连接管控将发起暂停任务 精准接入 恢复后,VPC指向实例暂停后,VPC指向恢复感知器 扩缩容稳定性内核优化 毛刺慢查询出现原因 •需要刷脏，持久化page会存在IO瓶颈 •缩容过程中需要多次遍历freelist和lrulist，遍历过程中持 有mutex锁时长可能较长 •需要获取BP全局锁，执行时间过长，容易产生毛刺 缩BP时毛刺清理 优化遍历待回收BPChunk区域 灵活控制缩容步长,缩容过程中完全无毛刺,毛刺数量100%↓ 从回收区到非回收区时不再多次遍历LRU IO瓶颈解决方案 •采用redolog在存储层异步生成page，计算节点不需要刷 脏直接丢弃淘汰page Mutex锁瓶颈 •减少持锁范围和时长 •按地址遍历需要被回收的chunk中的block •加锁区间由整个lru链表变成单个block 全局锁瓶颈 •延迟释放chunks和提前预分配chunks •优化resizehash算法，改为异步模式 04AI助力，打造全新智能数据库 Ultimatecosttohelpenterprisesreducecostsandincreaseefficiency 混元助手，打造全新Serverless智能数据库中台 使用体验场景 知识库 功能引导 快速访问 使用习惯 运维场景 SQL辅助 监控分析 自动告警 风险排查 功能增强场景 负载预测 数据智能分层 SQL加速 资源调度 超万亿参数规模 长上下文窗口 最长支持256k 相当于全国公共图书馆总藏书量1/2的预训练 语料 存算分离，资源结耦，弹性粒度细 自研内核TXSQL， 超高性能 腾讯混元 大模型 数据流 TDSQL-C Serverless 强大的创作能力 复杂语境的逻辑推理能力 可靠的任务执行能力 出色的多模态理解和代码生成能力 随取随用，极致压缩成本 秒级弹性，扩缩过程0抖动 一站式解锁数据库使用新范式 提前感知业务负载变化，自定义提前弹性时间。打破事后弹性带来的扩容时延风险；预测准确率高达80%+ 全球首发预测式弹性，针对业务高峰期提前准备资源 推理过程-3 推理过程-1 ...... 预测结果-3 预测结果-1 ...... 预测 4.时序预测 时序预测模型集 M1 M2 ... 性能数据-3 性能数据-1 ......2.时序分析 过滤数据特征提取 时序特征-3 时序特征-1 1.判别分析 关联 实例信息-3 实例信息-1 性能数据-3 性能数据-1 ...... ...... ...... 专家建议 3.混元大模型 可信信息 事前决策分析 历史监控负载80%为训练集，20%为测试集 采用DNN对历史负载进行判别分析，MSE<=5进入预测队列 特征提取 通过数十种监控指标，提取近20种特征作为分析向量，将监 控指标转化为K维向量进行预测 大模型推理 对话式模型深度模拟用户业务场景，提取专家建议和业界可信信息，深度拟合未来业务发展趋势 时序预测 采用多模态对齐的方法，通过权重控制时序预测模型集（LSTM，Transformer、Linear、DNN、ARIMA等），捕获周期性时序规律输出预测结果 智能SQL加速，深层次降低CCU消耗量 打造一站式智能SQL加速器 •内存、CPU使用量决定serverless使用成本，提高SQL执行执行质 量，减少资源占用以进一步降低成本 •结合混元能力学习历史查询数据和执行计划，自动优化SQL 执行计划选择 索引智能推荐 投影消除 子查询优化 连接重排 计算节点 AI 智能SQL 加速器 SQL SQL 谓词分析 Workload 跨机直方图 候选索引生成 IndexRange SQL 单表代表评估 虚拟索引 MM-Tree 代价评估 候选索引修正 RefIndex 连接代价评估 What-Ifplug-in Handler:interfaces 代价评估 加权合并择优 推荐结果 合并择优 Statistics IndexCorrelation 推荐结果 直方图、平均行长 多列相关性 谓词下推 智能sql索引推荐 •通过离线计算模式，定时触发SQL优化服务，建立从追踪、评估、分析、建议、采纳闭环优化服务流程 •通过跨机直方图对谓词进行分析，形成候选索引 •建立基于负载情况的代价评估模型，离线生成虚拟索引模拟执行计划负载情况 •推荐结果在窗口期持续更新，通过单表代价评估对候选索引修正 •根据AWR信息，按照SQL负载对索引收益加权，综合对比索引加速比 ，产生针对负载的推荐结果 数据智能分层解耦，让弹性更加精准 三层结耦，弹性颗粒度更精细 CPU、内存独立弹性，最高支持1:8配比 CPU密集型IO密集型 CPU60% 内存20% 计算节点 CPU10% 内存80% 计算节点 内存分析模型，辅助决策 提取多种指标特征，如慢查指标、bp命中率、I/0时长、CPU使用率 等近20种特征值作为分析向量，辅助决策弹性时机 大模型弹性引导 通过管理员建议，实例业务信息调用，结合工程prompt对LLM进行 微调，给出业务生命周期内的弹性引导信息 性能指标管理员建议实例业务信息 性能推演，给出弹性步长建议 通过关联规则学习方式，找到性能指标同内存、cpu大小的关联规则 内存分析模型 性能特征 混元大模型 引导信息 性能推演模型 进行性能推演，给出每次弹性步长的建议 可信信息源弹性建议 05典型应用场景 Typicalapplicationscenarios 典型应用场景 低频访问业务 个人博客、垂直社区论坛、微信小程序与云函数、云开发、微信云托管有深入的合作 开发测试环境 工作时间：周一至周五的工作时间使用时则收费 下班时间：夜间以及周末不使用不收费 洪峰流量场景 面对突发洪峰流量，可以快速扩容，防止oom 周期性流量业务 面向会有明显的周期性业务场景，流量会有明显的 波峰波谷特点 归档类场景 针对冷数据量较大，同时访问频率较低的业务场景 活动类场景 在活动期间会有一个比较高的负载，但活动过去之后，负载就会降低，同时需要及时应对可能突发的高负载事件 好未来教育 TDSQL-CServerless支撑好未来教育提供一站式课务系统。在面对潮汐流量时，极大程度降低使用成本。助力腾讯乐享降低成本40% •潮汐流量明显，大多数时候用户访问频次低 •传统数据库扩容速度慢，体验差 •业务高峰前需要提前扩容，运维工作量大 TDSQL-CServerless实现与微信生态互通，联合微信小程序云开发，创造开发者使用数据库新形态。 已为接近50万小程序开发者提供了一站式开发云服务 •云服务成本高，按量付费价格贵包年包月不灵活 •资源利用率低，中小规模客户多，负载变化频繁 •后端配置复杂，运维成本高，用户理解程度高 典型客户案例 资源利用率低使用成本高...... 传统云数据库 传统云数据库 低成本资源隔离 不使用自动暂停 TDSQL-C Serverless 自动弹性扩缩容 按实际使用量收费 THANKS