TDSQL-C 计算与存储架构演进实践

背景与挑战

• 下一代云数据库难点：当前云数据库方案存在开箱即用、高可用、自动备份恢复、弹性扩展、服务保障、安全加密等需求，但面临软件贵、难运维、不可靠、扩展差、技术体系封闭、缺少商业服务保障等问题。
• 系统DBA代理：从复杂的多系统拼装到“极致性价比”的一体化架构，解决当前OLTP+OLAP+向量数据库的多系统拼接方案中存在的一致性差、查询复杂、延迟高、运维成本高等问题。
• 计算架构演进：“负载级”自优化，应对KA客户攻坚中业务SQL优化成为规模化复制的瓶颈点，以及用户TP、AP、向量（混合查询）负载复杂性激增的挑战。

传统查询优化器局限

• 传统查询优化器存在根本性缺陷，优化器核心挑战包括搜索空间爆炸（n张表连接顺序有n!种，10张表约360万种）、业务和系统资源动态变化难以达到全局最优解。

解决方案：基于AI的自学习优化器

• 关键策略：性能自治，从局部最优→全局最优。
• 最优计划对比模型：引入执行时延反馈机制，通过计划编码和统计信息编码感知基数估计、代价模型与实际时延关系，逐渐演进到最优计划训练领域。
• 大模型作为专家系统：根据经验产生候选计划，避免陷入传统局部最优。
• 全场景性能自动调优方案：构建优化器大模型，收集数据训练模型，数据库内核根据训练结果直接选择最优执行计划。
• 智能计划管理：解决大模型“又慢又不准”与数据库“可靠高效”冲突的问题，通过计划管理（SPM）提供兜底机制，实现性能“只增不减”，包括计划基线+持续演进、完整的计划重现+计划干预能力。

成果

• AI优化器大模型效果：线上SQL耗时降低90%+。
• AI优化器产品效果：基准测试TPC-DS性能飙升74%+，业务上线数千个实例，CPU负载显著降低，SQL总耗时降低90%+；复杂查询场景下，AI优化器实现超200%的性能飙升。

存储架构演进：“极致性价比”的一体化架构

• 挑战与目标：解决当前OLTP+OLAP+向量数据库的多系统拼接方案中存在的一致性差、查询复杂、延迟高、运维成本高等问题。
• 关键技术—性能：
  • 架构选型：数据日志分离架构（写链路极短，无解析耗时，顺序I/O，无写放大）vs数据日志一体架构（边解析日志边分发，耗时与日志记录大小和分片个数有关，易造成抖动，写放大严重）。
  • 存储副本：无主架构（1跳网络，延时更低，多数派写，消除长尾延时）vs有主架构（2跳网络通信，延时更大，主副本抖动，I/O抖动）。
  • 高性能优化：多数派写、条带化写（128 KB～8 MB粒度）、高性能网络（RDMA + HARP）、全链路零拷贝+ NUMA友好、1跳网络、重定向读、热点分片打散（1 MB粒度）、全链路无感升级、顺序I/O +并行分发。
• 关键技术—成本：
  • 自定义压缩：性能损耗写无损耗，读<10%，压缩率50%～70%。
  • 分层存储，自主落冷：存储透明分层vs计算归档引擎，可观测性热图观测效果，丰富策略（无访问/无修改/创建时间超过N天→压缩、归档）。
    • 压缩落冷：以70%冷数据、50%压缩率为例，成本下降35%。
    • 归档落冷：以100%数据上传COS为例，成本下降90%。
• 关键技术—容灾：
  • 灵活的副本放置能力+异步跨园区副本形态：原创异步跨可用区副本，兼顾性能与成本，RPO = 0、秒级RTO，适配出海安全合规场景。

小结

• 更快：数据日志分离，写入链路更短，高性能网络+零拷贝，降低访问延时，适合高并发在线业务。
• 更省：多级压缩，显著降低存储开销；冷热分层，自动归档冷数据，让规模增长不再推高预算。
• 更可靠：原创异步跨可用区副本，兼顾性能与成本，RPO = 0、秒级RTO，关键业务更安心。
• 更安全：备份巡检，提前发现风险；本地快照与秒级克隆，快速验证恢复，让数据保护从被动变主动。