云原生数据库Serverless+AI，助力降本增效

助力企业降本增效 腾讯云数据库高级产品经理主讲人：陈昊 •TDSQL-C Serverless架构及降本能力•应对负载不定场景下的弹性能力•弹性伸缩过程中的稳定性保证•AI助力打造智能数据库•典型应用场景 TDSQL-C Serverless架构及降本能力01 Introduction to the architecture and capability of cost reduce 云原生数据库Serverless的发展必然性 传统云数据库 TDSQL-C Serverless 同机部署计算和存储，剩余资源难以利用 解耦计算与存储，资源利用率高，跨机扩容快 存算一体,较易产生碎片 存算分离,不会产生碎片 规格固定,需提前扩缩容 纵向弹性规格,无需提前扩缩容 自动启停,无使用不计费 进程常驻,无使用也计费 Redolog同步,主从延迟极低 秒级横向扩容 TDSQL-C Serverless架构介绍 计算层、存储层依托TDSQL-C架构 •计算节点秒级伸缩，支持跨机弹性•存储层池化资源，秒级可拓展性存储 管控发起启停任务、监控资源使用情况 •触发扩缩容•暂停计算层•上报计费 利用恢复感知器秒级冷启动，链接保持不断 秒级采样，按量计费，不使用不付费 CCUTDSQL-C Compute Unit= max(CPU, MEM/2,最小规格) 采样频率5S 实时按实时的CCU计费计算资源 资源包预付费付费方案对比同规格包年包月刊例价最高降低25% 可释放存储，进一步压缩存储成本 可释放存储 灵活存储 实例暂停后，分布式存储数据进行归档归档存储成本更低，最高可降低存储80%成本用户无需承担实例暂停后高昂的存储费用 根据用户自定义属性灵活进行存储归档 快速恢复 数据恢复中对业务无损 极致成本压缩 归档存储成本最高可降低80%存储费用 应对负载不定场景下的弹性能力02 Elasticity to cope with scenarios of unpredictable loads 极致纵向弹性,资源如水源般可涓流可倾泻 其他方案 TDSQL-C Serverless 极致横向弹性,混合集群版serverless助力全场景应用 Serverless混合集群架构 集群级SERVERLESS 资源细粒度更高,各节点可独立弹性 资源混部 主从节点形态可不同,丰富业务场景 数据库代理 读写分离,负载均衡业务无需扩缩容情况 精准调度调度器全方面分析资源使用情况保证资源合理使用 弹性伸缩过程中的稳定性保证03 Stability assurance during the process of elastic scaling 扩缩容稳定性内核优化 毛刺慢查询出现原因 缩BP时毛刺清理 •需要刷脏，持久化page会存在IO瓶颈•缩容过程中需要多次遍历free list和lru list，遍历过程中持有mutex锁时长可能较长•需要获取BP全局锁，执行时间过长，容易产生毛刺 优化遍历待回收BP Chunk区域灵活控制缩容步长,缩容过程中完全无毛刺,毛刺数量100% ↓ IO瓶颈解决方案 •采用redo log在存储层异步生成page，计算节点不需要刷脏直接丢弃淘汰page Mutex锁瓶颈 •减少持锁范围和时长•按地址遍历需要被回收的chunk中的block•加锁区间由整个lru链表变成单个block 全局锁瓶颈 •延迟释放chunks和提前预分配chunks•优化resize hash算法，改为异步模式 AI助力，打造全新智能数据库04 Ultimate cost to help enterprises reduce costs and increase efficiency 混元助手，打造全新Serverless智能数据库中台 全球首发预测式弹性，针对业务高峰期提前准备资源 提前感知业务负载变化，自定义提前弹性时间。打破事后弹性带来的扩容时延风险；预测准确率高达80%+ 事前决策分析 历史监控负载80%为训练集，20%为测试集采用DNN对历史负载进行判别分析，MSE<=5进入预测队列 特征提取 通过数十种监控指标，提取近20种特征作为分析向量，将监控指标转化为K维向量进行预测 大模型推理 对话式模型深度模拟用户业务场景，提取专家建议和业界可信信息，深度拟合未来业务发展趋势 时序预测 采用多模态对齐的方法，通过权重控制时序预测模型集（LSTM，Transformer、Linear、DNN、ARIMA等），捕获周期性时序规律输出预测结果 智能SQL加速，深层次降低CCU消耗量 打造一站式智能SQL加速器 •内存、CPU使用量决定serverless使用成本，提高SQL执行执行质量，减少资源占用以进一步降低成本•结合混元能力学习历史查询数据和执行计划，自动优化SQL 智能sql索引推荐 •通过离线计算模式，定时触发SQL优化服务，建立从追踪、评估、分析、建议、采纳闭环优化服务流程•通过跨机直方图对谓词进行分析，形成候选索引•建立基于负载情况的代价评估模型，离线生成虚拟索引模拟执行计划负载情况•推荐结果在窗口期持续更新，通过单表代价评估对候选索引修正•根据AWR信息，按照SQL负载对索引收益加权，综合对比索引加速比，产生针对负载的推荐结果 数据智能分层解耦，让弹性更加精准 三层结耦，弹性颗粒度更精细 CPU、内存独立弹性，最高支持1:8配比 内存分析模型，辅助决策 提取多种指标特征，如慢查指标、bp命中率、I/0时长、CPU使用率等近20种特征值作为分析向量，辅助决策弹性时机 大模型弹性引导 通过管理员建议，实例业务信息调用，结合工程prompt对LLM进行微调，给出业务生命周期内的弹性引导信息 性能推演，给出弹性步长建议 通过关联规则学习方式，找到性能指标同内存、cpu大小的关联规则进行性能推演，给出每次弹性步长的建议 典型应用场景05 Typical application scenarios 典型应用场景 低频访问业务 周期性流量业务 个人博客、垂直社区论坛、微信小程序与云函数、云开发、微信云托管有深入的合作 面向会有明显的周期性业务场景，流量会有明显的波峰波谷特点 开发测试环境 归档类场景 工作时间：周一至周五的工作时间使用时则收费下班时间：夜间以及周末不使用不收费 针对冷数据量较大，同时访问频率较低的业务场景 活动类场景 洪峰流量场景 在活动期间会有一个比较高的负载，但活动过去之后，负载就会降低，同时需要及时应对可能突发的高负载事件 面对突发洪峰流量，可以快速扩容，防止oom 典型客户案例 好未来教育 TDSQL-C Serverless支撑好未来教育提供一站式课务系统。在面对潮汐流量时，极大程度降低使用成本。助力腾讯乐享降低成本40% TDSQL-C Serverless实现与微信生态互通，联合微信小程序云开发，创造开发者使用数据库新形态。已为接近50万小程序开发者提供了一站式开发云服务 •云服务成本高，按量付费价格贵包年包月不灵活•资源利用率低，中小规模客户多，负载变化频繁•后端配置复杂，运维成本高，用户理解程度高 •潮汐流量明显，大多数时候用户访问频次低 •传统数据库扩容速度慢，体验差 •业务高峰前需要提前扩容，运维工作量大