腾讯云数据库（张松坡）：腾讯云TDSQL构建高效、可靠的数据库新生态

大数据技术标准推进委员会 会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委 大数据技术标准推进委员会 腾讯云TDSQL构建高效、可靠的数据库新生态 张松坡｜腾讯云数据库解决方案副总经理 大数据技术标准推进委 TDSQL发展历史 1.0时代： 大数据技术标准推进委员会 支撑内部应用的产品数据库 2.0时代： 承接互联网洪峰的云数据库 3.0时代： 云上云下架构同源的国产数据库 TDSQL1.0发布 应用于财付通 TDSQL上线公有云 18年开始国产替代，TDSQL首批完成信通院分布式事务数据库标准测试产品 大数据技术标准推进委员会 政府、银行开始大规模国产替代 在全行业开启全面替换 大数据技术标准推进委员会 2002年2007年2012年2015年2017年2018年2019年2020年2022年2023年 数据库团队成立 大数据技术标准推进委员会 会 TDSQL金融级分布式数据库发布，在腾讯内部大规模使用 互联网客户突破1万个 首个传统银行核心采用国产数据库 银行核心：全国第一 大数据技术标准推进委员会 首个国有大行核心采用国产数据库 会 大数据技术标准推进委 TDSQL在各行各业已经被广泛使用 大数据技术标准推进委员会 大数据技术标准推进委员会 目前TDSQL可基本满足银行核心交易类系统的国产替代，达到国产数据库产品中最高级别评估。 银行 保险 大数据技术标准推进委员会 证券 交通 大数据技术标准推进委员会 大数据技术标准推进委员会 政务 大数据技术标准推进委员会 会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委 大数据技术标准推进委员会 TDSQL被广泛选择的原因 大数据技术标准推进委 TDSQL首批通过《安可》和《政府采购标准》，是满足信息技术融合创新标准的国产数据库 大数据技术标准推进委员会 会 大数据技术标准推进委员会 •首批通过集中式数据库安可认证 •代表国家认可的供应链安全可靠，不受制裁影响 •财政部发文并配套附件提出数据库要求标准 •工信部直属机构组织测试并出具报告 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 •集中式+分布式均通过认证 大数据技术标准推进委 TDSQL是腾讯集团的战略产品，支撑微信等国民应用，有极强的持续运营能力 TDSQL提前10年布局自研能力 可持续运营的国产数据库 坚持自研 坚持走自研路线 大数据技术标准推进委员会 •2013年开始，腾讯就提出“自研产品”的布局，TDSQL已经持续布局10年之久，目前已投入研发人力上千人。 •掌握软件全部代码，原理、文档。 •掌握产品全部版权、商标和专利，无知识产权纠纷。 大数据技术标准推进委员会 内部支撑应用 TDSQL连续多年入选集团财报 会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 外部支撑应用 大数据技术标准推进委 TDSQL架构云上云下同源，是拥有最大“练兵场”的国产数据库，做质量优先的可靠国产数据库 架构云上云下同源，使得国产数据库质量得到保证 客户场景演练 长稳性能回归 功能兼容性 大数据技术标准推进委员会 可用性沉淀 可靠的国产数据库 大数据技术标准推进委员会 大数据技术标准推进委员会 质量 至少15天 至少1000 客户 至少20+ 地域 至少30万实例 安全性 架构同源性能可靠 30万+ 大数据技术标准推进委员会 大数据技术标准推进委员会 实例 可靠性 会 自有集群 专有集群 公有集群 会 大数据技术标准推进委 TDSQL拥有世界领先的事务处理能力，优异的性价比，也符合“降本增效”的大方向 ①超大规模集群，性能稳定性最佳 构建了业界最大的分布式数据库集群（1650台），性能刷新世界记录（8.148亿tpmC），平均时延和90分位时延领先其他厂商。 大数据技术标准推进委员会 大数据技术标准推进委员会 在30小时的持续压测过程中，tpmC的波动率一直处于0.2%以下（标准是要求2%以内)。 大数据技术标准推进委员会 ②卓越的高可用和分布式容灾能力 1个小时的容灾场景测试，进行了2次随机断电物理机器和1次destroy腾讯云实例的模拟故障，模拟故障之后，18秒完成HA切换，大盘整体影响微乎其微。 ③非常显著的成本优势（性价比） 大数据技术标准推进委员会 大数据技术标准推进委员会 通过持续的软硬件协同，自动化，规模化的运营能力，使得单tpmC的价格接近同类产品的1/3。 会 大数据技术标准推进委 TDSQL经过多年的内核积累，有大量独有且符合各个行业的实用 优化分类 内核能力项 TDSQL内核能力特性 功能类特性 热点秒杀 拆锁降冲突，高并发写入性能提升15% 功能类特性 安全审计 审计能确保实例性能近乎不受影响，性能损耗最高仅有不到3% 功能类特性功能类特性 透明数据加密 KMS采用的是两层密钥体系，涉及两类密钥，确保数据在内存和文件中都进行加密 列压缩 针对大字段压缩效果4倍以上压缩比，能显著节约内存和磁盘空间 性能类特性 并行查询 利用并行查询能力，调动多核计算资源，大幅缩短大查询响应时间 性能类特性 大事务复制 update场景复制时间减少85%，insert场景减少约30% 性能类特性 Binlog组提交锁 全局锁改局部锁，高并发写入性能提升19% 性能类特性 计划缓存点查优化 对点查的SQL，延迟性能提升20%-30%，吞吐性能提升20%- 30% 运营类特性 秒级更改列 只会在数据字典表中记录列修改信息，避免更改列时做的数据拷贝 运营类特性运营类特性 SQL限流 闪回查询 通过关键字的设置，限制特定SQL同一时间内可并发执行的并发度 仅需通过简单的SQL语句即可查询误操作前的历史数据，从而保 障业务快速恢复运行 运营类特性 异步删除大表 在删除表时，为表的数据文件在另外一个目录中创建一个硬连接 客户：有符合各个行业的实用关键特性 •热点秒杀：电商，游戏等需要频繁热点更新场景 •安全审计：金融等行业有审计的需求场景 大数据技术标准推进委员会 大数据技术标准推进委员会 •透明数据加密：银行、保险等对静态数据加密合规性要求 •字段压缩：日志记录、传输数据量大需要压缩等场景 业务：提供强大的内核能力，保证性能最佳特性 •并行查询：大表查询、报表统计或者其他分析查询等 •大事务复制：对row模式下存在大事务，复制较慢的场景 大数据技术标准推进委员会 •计划缓存点查优化：对于线上短小点查询较多，且使用preparestatement模式时，应用有性能上的提升 运维：为DBA提供智能化、精细化的运营特性 •秒级更改列：需要对数据量大的表进行更改列操作场景 •SQL限流：针对某些并发量大、占用资源、导致数据库性能下降的SQL限流场景 大数据技术标准推进委员会 大数据技术标准推进委员会 •异步删除大表：该功能主要用于删除数据文件很大的表，避免IO的抖动。 •闪回查询：误操作需要快速恢复业务等场景 大数据技术标准推进委 TDSQL基于代价路由的HTAP能力，真正的“记、算”一体 SQLEngine SQLEngine 智能计算引擎与行列混存架构 TDSQLHTAP的性能处于第一梯队水平 TP处理层 行式存储 大数据技术标准推进委员会 行 式CDC 存 储 AP插件 5+ 能力突破 10x 导入导出效率 TDSQLHTAP 大数据技术标准推进委员会 数百倍 混合负载查询性能 ReplicationReplication 可插拔式分析引擎，灵活高效 大数据技术标准推进委员会 数据压缩和冷热分层，降低成本 行行 式式 存存 储储应对海量并发和吞吐，性能提升 会 列式存储 Replication 列式存储 大数据技术标准推进委员会 支付业务用户信息订单信息消息业务交易业务账户系统 •通过复杂语句列存加速，授信系统跑批时间，由之前3小时降低到1h20分钟 数据跑批交易对账数据可视化数据分析数据归档深度分析 大数据技术标准推进委员会 •通过HTAP智能优化器，所有SQL均未调优，直接迁移上线，极大降低迁移成本 •通过混合负载支撑能力，解决财务系统中复杂事务处理难题（3亿数据性能提升100倍） 大数据技术标准推进委 大数据技术标准推进委员会 TDSQL有优秀的Oracle、SQLServer兼容能力，且在多个核心复杂系统经过验证 168万tpmC 95% OLTP性能（TPCC） 并轨兜底方案 大数据技术标准推进委员会 测试用例分类TDSQL2024年H！1 OracleSQL兼容性 96% HTAP性能（多表关联） 0.3小时 TDSQL的Oracle兼容性能力已经达到96%，持续迭代中。 大数据技术标准推进委员会 大数据技术标准推进委员会 测试用例分类TDSQL2024年H！1 SQLServerSQL兼容性 95% TDSQL的SQLServer兼容性能力已经达到95%，持续迭代中。 HTAP性能 （TPCH1T） 4min 会 大数据技术标准推进委员会 产品支持 多节点读写分离 大数据技术标准推进委 TDSQL强大的智能化管控、运维系统。极大提高管理人效，降低运维门槛 4万+ 构建完善的智能化数据库生态系统，提供一站式的运维解决方案 会 实例/人 8个人运维 30万+的线上实例 提供数据库自治云服务能力 大数据技术标准推进委员会 数据库实时监控告警 会话实时管理与空间探查 全方位诊断优化 大数据技术标准推进委员会 智能巡检与健康报告 支持全量数据审计，便于溯源 支持多种资产场景全量数据审计 提供周期性的统计报告 为数据库安全提供更为精准的威胁分析和告警 大数据技术标准推进委员会 大数据技术标准推进委员会 提供完善的数据库安全审计能力 DBbrainDBbridgeTDSQL 生态 T-SecCloudDB Assistant 提供一站式迁移解决方案 大数据技术标准推进委员会 支持多种关系型数据库数据库迁移 构建数据库容灾架构 实时数据传输为下游提供数据分析 数据互联互通，数据治理等 监控指标智能分析 Q&A机器人 提供数据库运维知识库 帮助学习数据库基础知识等 利用AI赋能数据库运维管理 大数据技术标准推进委 TDSQL独立软件部署，又依托于腾讯云全栈技术支撑，在操作系统、网络、存储都有强大的开发力量和深厚积淀 Application 大数据技术标准推进委员会 Compiler Kernel ThreadScheduler FileSystems NetworkStack VirtualMemory Hardwares 应用优化：配置调整、热点函数优化等编译优化：循环优化、LTO、PGO等 大数据技术标准推进委员会 系统参数调优：NUMA内存自动均衡、网络中断重绑定、开启/关闭网络RPS、利用HugePages等 大数据技术标准推进委员会 软硬件协同优化：充分利用CRC32、LSE、AVX等硬件特性 TPS提升~14%CPU使用率降低~30% 大数据技术标准推进委员会 ARM平台提升~34% 大数据技术标准推进委员会 ARM平台（鲲鹏）提升~57%x86平台（海光）提升~135% 会 某国有大行的操作系统优化案例： •麒麟操作系统在arm平台下，tcp_mem默认设置过小，最终设置和x86架构一致； •麒麟操作系统sssd服务存在bug，proxy监听socket换成unix类型，导致proxy连接不上，最终麒麟操作系统修复bug； 案例 会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委 大数据技术标准推进委员会 大数据技术标准推进委员会 腾讯云数据库愿与大家共同携手，为中国数据库创新添砖加瓦，协同共进 会 大数据技术标准推进委