腾讯云TDSQL构建高效、可靠的数据库新生态

腾讯云TDSQL构建⾼效、可靠的数据库新⽣态 祝海强腾讯云数据库副总经理 TDSQL发展历史 1.0时代： 支撑内部应用的产品数据库 2.0时代： 承接互联网洪峰的云数据库 3.0时代： 云上云下架构同源的国产数据库 TDSQL1.0发布 应用于财付通 TDSQL上线公有云 18年开始国产替代，TDSQL首批完成信通院分布式事务数据库标准测试产品 政府、银行开始大规模国产替代 在全行业开启全面替换 2019年 2002年2007年2012年2015年2017年2018年2020年2022年2023年 数据库团队成立 TDSQL金融级分布式数据库发布，在腾讯内部大规模使使用 互联网客户突破1万个 首个传统银行核心采用国产数据库 银行核心：全国第一 首个国有大行核心采用国产数据库 交通 保险 证券 TDSQL在各⾏各业已经被⼴泛使⽤ ⽬前TDSQL可基本满⾜银⾏核⼼交易类系统的国产替代，达到国产数据库产品中最⾼级别评估。 银⾏ 政务 TDSQL被⼴泛选择的原因 TDSQL⾸批通过《安可》和《政府采购标准》，是满⾜信息技术融合创新标准的国产数据库 •首批通过集中式数据库安可认证 •代表国家认可的供应链安全可靠，不受制裁影响 •财政部发文并配套附件提出数据库要求标准 •中国电子技术标准化研究院组织测试并发放认证 •集中式+分布式均通过认证 TDSQL是腾讯集团的战略产品，⽀撑微信等国民应⽤，有极强的持续运营能⼒ TDSQL提前10年布局自研能力TDSQL连续多年入选集团财报 坚持走自研路线 •2013年开始，腾讯就提出“自研产品”的布局，TDSQL已经持续布局10年之久，目前已投入研发人力上千人。 •掌握软件全部代码，原理、文档。 坚持 •掌握产品全部版权、商标和专利，无知识产权纠纷。 自研内部支撑应用 可持续运营的国产数据库 外部支撑应用 TDSQL架构云上云下同源，是拥有最⼤“练兵场”的国产数据库，做质量优先的可靠国产数据库 架构云上云下同源，使得国产数据库质量得到保证 客户场景演练 长稳性能回归 功能兼容性 可用性沉淀 至少15天 至少1000 客户 至少20+ 地域 至少30万实例 安全性 质量 性能可靠 30万+ 实例 可靠性 可靠的国产数据库 自有集群 专有集群 公有集群 TDSQL拥有世界领先的事务处理能⼒，优异的性价⽐也符合“降本增效”的⼤⽅向 构建了业界最大的分布式数据库集群（1650台），性能刷新世界记录（8.148亿tpmC），平均时延和90分位时延领先其他厂商。 在30小时的持续压测过程中，tpmC的动率一直处于 0.2%以下(标准是要求2%以内)。 ①超大规模集群，性能稳定性最佳 1个小时的容灾场景测试，进行了2次随机断电物理机器和1次destroy腾讯云实例的模拟故障，模拟故障之后，18秒完成HA切换，大盘整体影响微乎其微 ②卓越的高可用和分布式容灾能力 通过持续的软硬件协同，自动化，规模化的运营能力，使得单tpmC的价格接近同类产品的1/3。 ③非常显著的成本优势（性价比） 业务：提供强大的内核能力，保证性能最佳特性 •并行查询：大表查询、报表统计或者其他分析查询等 •大事务复制：对row模式下存在大事务，复制较慢的场景 •计划缓存点查优化：对于线上短小点查询较多，且使用preparestatement模式时，应用有性能上的提升 运维：为DBA提供智能化、精细化的运营特性 •秒级更改列：需要对数据量大的表进行更改列操作场景 •SQL限流：针对某些并发量大、占用资源、导致数据库 性能下降的SQL限流场景 •异步删除大表：该功能主要用于删除数据文件很大的表，避免IO的抖动。 •闪回查询：误操作需要快速恢复业务等场景 TDSQL经过多年的内核积累，有⼤量独有且符合各个⾏业的实⽤关键特性 优化分类 内核能力项 TDSQL内核能力特性 功能类特性 热点秒杀 拆锁降冲突，高并发写入性能提升15% 功能类特性 安全审计 审计能确保实例性能近乎不受影响，性能损耗最高仅有不到3% 功能类特性 透明数据加密 KMS采用的是两层密钥体系，涉及两类密钥，确保数据在内存和文件中都进行加密 功能类特性 列压缩 针对大字段压缩效果4倍以上压缩比，能显著节约内存和磁盘空间 性能类特性 并行查询 利用并行查询能力，调动多核计算资源，大幅缩短大查询响应时间 性能类特性 大事务复制 update场景复制时间减少85%，insert场景减少约30% 性能类特性 Binlog组提交锁 全局锁改局部锁，高并发写入性能提升19% 性能类特性 计划缓存点查优化 对点查的SQL，延迟性能提升20%-30%，吞吐性能提升20%-30% 运营类特性 秒级更改列 只会在数据字典表中记录列修改信息，避免更改列时做的数据拷贝 运营类特性 SQL限流 通过关键字的设置，限制特定SQL同一时间内可并发执行的并发度 运营类特性 闪回查询 仅需通过简单的SQL语句即可查询误操作前的历史数据，从而保障业务快速恢复运行 运营类特性 异步删除大表 在删除表时，为表的数据文件在另外一个目录中创建一个硬连接 客户：有符合各个行业的实用关键特性 •热点秒杀：电商，游戏等需要频繁热点更新场景 •安全审计：金融等行业有审计的需求场景 •透明数据加密：银行、保险等对静态数据加密合规性要求 •字段压缩：日志记录、传输数据量大需要压缩等场景 TDSQL基于代价路由的HTAP能⼒，真正的“记、算”⼀体 智能计算引擎与行列混存架构 TDSQLHTAP的性能处于第一梯队水平 SQLEngine SQLEngine SQLEngine TP处理层 TDSQL AP插件 Master1 Master2 行 式存储 行 式存储 CDC Replication Replication Slave Slave 行 式存储 行 式存储 支付业务用户信息 订单信息消息业务 交易业务账户系统 数据跑批交易对账数据可视化数据分析数据归档深度分析 实时复杂分析 在线业务 HTAPNode 列式存储 Replication Slave 列式存储 5+ 能⼒突破 10x 导⼊导出效率 TDSQLHTAP 数百倍 混合负载查询性能 可插拔式分析引擎，灵活高效 数据压缩和冷热分层，降低成本 应对海量并发和吞吐，性能提升 •通过复杂语句列存加速，授信系统跑批时间，由之前3小时降低到1h20分钟 •通过HTAP智能优化器，所有SQL均未调优，直接迁移上线，极大降低迁移成本 •通过混合负载支撑能力，解决财务系统中复杂事务处理难题（3亿数据性能提升100倍） TDSQL有优秀的Oracle、SQLServer兼容能⼒，且在多个核⼼复杂系统经过验证 95% 并轨兜底方案 168万tpmC OLTP性能（TPCC） 0.3小时 HTAP性能（多表关联） 96% OracleSQL兼容性 测试用例分类TDSQL2024年H！1 TDSQL的Oracle兼容性能力已经达到96%，目前处于国内第一梯队水平。 4min HTAP性能 （TPCH1T） 多节点读写分离 产品支持 95% SQLServerSQL兼容性 测试用例分类TDSQL2024年H！1 TDSQL的SQLServer兼容性能力已经达到95%，目前处于国内领先水平。 TDSQL强⼤的智能化管控、运维系统。极⼤提⾼管理⼈效，降低运维门槛 构建完善的智能化数据库生态系统，提供一站式的运维解决方案 4万+实例/人 8个人运维 30万+的线上实例 提供数据库自治云服务能力 数据库实时监控告警 会话实时管理与空间探查 全方位诊断优化 智能巡检与健康报告 支持全量数据审计，便于溯源 支持多种资产场景全量数据审计 提供周期性的统计报告 为数据库安全提供更为精准的威胁分析和告警 提供完善的数据库安全审计能力 DBbrainDBbridgeTDSQL 生态 T-Sec CloudDBAssistant 提供一站式迁移解决方案 支持多种关系型数据库数据库迁移 构建数据库容灾架构 实时数据传输为下游提供数据分析 数据互联互通，数据治理等 监控指标智能分析 Q&A机器人 提供数据库运维知识库 帮助学习数据库基础知识等 利用AI赋能数据库运维管理 TDSQL独⽴软件部署，⼜依托于腾讯云全栈技术⽀撑，在操作系统、⽹络、存储都有强⼤的开发⼒量和深厚积淀 TPS提升~14% Application Kernel VirtualMemory NetworkStack FileSystems ThreadScheduler 应用优化：配置调整、热点函数优化等 CPU使用率降低~30% Compiler 编译优化：循环优化、LTO、PGO等 ARM平台提升~34% 系统参数调优：NUMA内存自动均衡、网络中断重绑定、开启/关闭网络RPS、利用HugePages等 ARM平台（鲲鹏）提升~57% x86平台（海光）提升~135% Hardwares 软硬件协同优化：充分利用 CRC32、LSE、AVX等硬件特性 案例 某国有大行的操作系统优化案例： •麒麟操作系统在arm平台下，tcp_mem默认设置过小，最终设置和x86架构一致； •麒麟操作系统sssd服务存在bug，proxy监听socket换成unix类型，导致proxy连接不上，最终麒麟操作系统修复bug； TDSQL国产数据库已经在银⾏核⼼数第⼀，接下来会帮助更多⾏业完成国产数据库的替换 Thanks