亚信-洪建辉-亚信安慧AntDB分布式融合数据库演进

AsiainfoConfidential 亚信安慧AntDB分布式融合数据库演进 洪建辉亚信安慧AntDB-T负责人 www.top100summit.com 讲师简介 “拥有超过20年的软件研发和管理经验，以及超过10年的分布式数据和云 www.top100summit.com ” 数据库研发经验。 此外，曾在多家大中型公司担任研发总监、技术总监和首席信息官等技术 管理职务，还负责了多项国防领域国内数据库项目。 AsiainfoConfidential 洪建辉 在亚信科技引领AntDB-T数据库的研发工作，该产品已广泛应用于国内24个省市自治区的运营商核心系统，为推动运营商行业的迁移改造大规模落地作出了重要贡献。 www.top100summit.com 目录 01亚信科技AntDB分布式关系性数据库关键特性 AsiainfoConfidential 02亚信科技AntDB超融合一体流式引擎演进 03亚信科技AntDB数据库生态工具构建 04亚信科技AntDB迁移案例分享 05亚信科技AntDB数据库未来演进 www.top100summit.com 亚信科技AntDB分布式关系性数据库关键特性 AsiainfoConfidential 2025年，业务规模超百亿，新业务占收比近半，再造一个新亚信 数智方案 组织优化工程 数智产品 咨询规划 智慧运营 集成资质 人力资源工程 实施交付 数字化运营工程 智能决策 成本效益管控工程 投资并购工程 生态伙伴 战略合作工程 战略定位：数智化全栈能力提供商 依托数智化成全为栈最能可力信，赖创的新数客智户价价值值创，造助者推数字中国 AsiainfoConfidential 通信业务支撑系统 通信网络支撑系统 数智运营 垂直行业及企业上云 亚信科技公司简介 集成能力 运营能力 服务能力 产品能力 人员规模 13000+员工 其中90%+为技术人员 市场地位 亿 10+ 中国通信行业业务支撑系统 软件服务于全国终端用户数量 营单位业：人规民币模（元连）年增长 2017201820192020 2021 50%+ 中国通信行业业务支撑系统 软件服务于全国终端用户数量 77.38亿 68.95亿 60.20亿 57.21亿 51.92亿 48.25亿 2022 www.top100summit.com 5 亚信科技AntDB-电信核心交易级分布式数据库 5G 2020年~至今 从2G到5G，15年磨砺 通信行业国内数据数据库市占率领先 2013~2019年 4G 4G时代开启 ———— 5G全面普及 —————— I远O程T万教物育互、联远程医疗、远程视频 3G 2009~2012年 1日1均.5亿短用信户量亿 21 2G 2002~2008年 3G走向了商用 AsiainfoConfidential ———— 9日亿均电短信信用量户超亿条 超七成移动电话用户数 “超融新合一”代数据库 （多模原生分布式数据库 AntDB8.0 ⦿ ———— 2G网络进入建设高潮 1日亿均电短信信用量户超 16.2 AntDB4.x AntDB5.x (>90%Oracle兼容) AntDB6.x >90%Oracle兼容性） 100%PG/MySQL兼容性 原生代分布式架构 ⦿ 10亿 第一代高可用、高第性能二、第代一代分布式 AntDB3.x 拥抱PostgreSQL生态 拥抱MySQL生态⦿ ⦿ （非自结研构内数存据数为据主库） （异地多中心，双活）⦿ ⦿ ◉小型机集群 分布式 www.top100summit.com ◉⦿⦿⦿⦿⦿⦿⦿⦿⦿⦿⦿⦿⦿⦿⦿ 2008200920102011201220132014201520162017201820192020202120222023 亚信科技AntDB分布式数据库四大特点：久、多、快、稳 久 应用时间 15年 AsiainfoConfidential 2000+ 运行节点数 快 执行性能 ns级响应→us级响应 久多 AntDB 数据库四大特征 快稳 服务人数 多 级 10亿用户 PB 数据规模 稳定可靠 产品 500+项目的选择 www.top100summit.com al nf nf iident Co Asiai o 亚信科技AntDB分布式数据库的主要特性 特性分类 特性 说明 分布式特性 原生分布式 支持执行计划下推，投影、过滤、join算子下推 支持MPP大规模数据并行处理 类理似于MapReduce的模型特性，同时支持多台机器并行处理，单台机器多进程并行处AntDB自研分布式SQL优化器，执行器；复杂SQL，多表关联类SQL，子查询类SQL性能较传统MPP数据库有明显的性能提升，TPCH的部分SQL性能提升提高2个数量级。 分布式事务 支持全局强一致性分布式事务，保证数据一致性。 兼容特性 优化Oracle兼容特性的性能 优区裁化了剪s效a率mple函数，mod函数，sysdate函数等大量Oracle兼容函数的性能；优化了分 双存储引擎 可在线灵活使用开源或传统数据库的双存储引擎 运维管理 全支局持统在数一线据视扩倾图容斜的治理 支持集群统一视图，便于查看集群的运行状况及及时对问题进行定位分析 高可用能力 多中心容灾 支持双中心/两地三中心等金融级容灾部署及管理 性能优化 冷热分离 通过表空间来管理冷热数据，在集群内部实现冷热分离 异构索引 通过异构索引，快速定位分片信息，路由到真实的数据 www.top100summit.com MPP大规模数据并行处理 自研分布式SQL优化器，能够针对大小表关联，函数计算，聚合运算等SQL生成最优的执行计划 自研分布式SQL执行器，支持分层数据汇聚，支持近数据计算NDP；减少集群内数据传输，大幅提高多表关联，聚合，子查询等复杂类SQL的执行效率 支持DN数据节点之间进行数据传输和运算，相比Proxy类型CN节点数据库性能具备明显的优势 用户进程 用户进程 用户进程 数据库进程 reduce 进 调 者 协数据库进程程reduce 数据库进程 reduce 共享内存 AsiainfoConfidential 缓冲池 执行计划缓存 日志缓存 锁信息 日志写进程 检查点进程 监控进程 其它 www.top100summit.com www.top100summit.com 多模态SQL解析技术 创新的多模态SQL解析引擎 OLAPDB OLTPDB MPP Cluster Datawrapper ①Oracle② SQLEngine②MySQL ③PG Executionengine Storageengine Linux InterfaceandDriver AsiainfoConfidential 1：客户可定制扩展的多语法SQL解析引擎设计，兼容生态，一套数据库可以满足多种国外数据库的迁移改造要求，降低客户的学习成本。 ① ③ ③ Toolbox 2：SQL解析引擎的切换动态生效，无需重启数据库 3：支持会话模式、服务模式、语句模式三种访问模式，灵活性和易用性的极致体验 高度兼容Oracle语法，降低开发成本 支持服务器级别、会话级别、语句级别的兼容性开关设置 支持ROWID、ROWNUM 支持带FETCHFIRSTnROWSONLY和LIMIT/OFFSET的OFFSET子句 AsiainfoConfidential 支持OracleJOIN语法（使用+） 支持CONNECTBY层次型查询 支持CASEWHEN、LIMIT、别名等Oracle特殊语法 支持DUALtable 支持90%的常见Oracle函数，数据类型，操作符，如“||”和对空字符串的处理以及正则表达式等 支持业务层常用的隐转规则，尽管Oracle和PG都不建议这样做 支持OCI接口，支持存储过程 实时同步 Oracle AntDB Oracle功能迁移到AntDB迁移到MySQL 建表语句 直接兼容 部分支持，需要改写 表分区 直接兼容 不兼容，需要改写 数据类型 直接兼容（XML，Spatail除外） 部分支持，需要改写 SQL语法 直接兼容 部分支持，需要改写 Sequence序列 直接兼容 不兼容，需要改写 Procedure存储过程 直接兼容 不兼容，需要改写 Function自定义函数 直接兼容 不兼容，需要改写 Trigger触发器 直接兼容 不兼容，需要改写 Type自定义类型 直接兼容 不兼容，需要改写 并行运行期间，通过FDW+MD5函数进行正确性比对，无需停机，不影响生产业务 www.top100summit.com www.top100summit.com 亚信科技AntDB超融合一体流式引擎演进 AsiainfoConfidential 云原生、多模态融合型数据库成为新技术趋势 交易型数据库 面向亚秒级响应速度，支持事务原子交易 AsiainfoConfidential 交易+分析 HTAP 交易型 在线业务 流数据库 流处理 面向实时数据流的统计与监控告警 流式数据库 数据湖+仓库 分析数据库 分析型 AntDB 超融合数据库 湖仓一体 大数据 流处理型 流批一体 流处理+批处理 大数据体系 面向海量数据的分析与报表 离线业务 面向数据湖领域的数据挖掘与探索 www.top100summit.com 13 全方位技术创新，亚信科技AntDB融合型数据库 “超融合”为技术框架，融入流处理与向量能力 支持交易、数据集市与轻量级报表，包括传统 AntDB-T交易型能力 AsiainfoConfidential Oracle替换以及新型增量业务 内存计算能力 AntDB-M 支可持插高拔频内交核易级与嵌查入询式场模景块，极速优化执行效率 流处理能力 AntDB-S 实支时持报流表的+统异计步分交析易、流表关联 可作为整体框架提供全部能力,也可以拆分为独立模块 分析能力 AntDB-A 面能向够海进量行结传构统化数数仓据替分换析型场景支列持式云存原储生+向架量构执与行逻引辑擎数仓机制 AntDB-TS时序型能力 支适等持用领时于域序电型力数、据能的源高、吞智吐慧城量写市、入、智查慧询交和通分、工析业 向量引擎能力 AntDB-V 支量持检非索结构化数据的向量化能力以及数据库内向可“针图对搜图片”、或影对音话、等对能话力数据进行建模并构建 www.top100summit.com 14 产品功能架构 1.同时支持集中式部署与分布式部署，其中分布式采用无共用大规模并行处理（MPP）架构 2.标准的shared-nothing设计，高效的网络数据交换算法，使得通过廉价的设备也能搭建出高性能的集群 3.计算和存储按需独立横向扩展，通过自动化分片技术实现分散式存储和分散式负载均衡 APP1ODBC/JDBC APP2ODBC/JDBC ... APPNODBC/JDBC AsiainfoConfidential NodesarePeers •无特殊节点所有节点对等 •可通过任意节点查询或载入资料 计算节点 ClientNetwork（RDMA/TPC） CoordinatorCoordinatorCoordinator PrivateDataNetwork（RDMA/TPC）存储节点 全局事务管理器 GTM 管理节点 AntDBControlCenter •即时载入与查询同步进行 DB-MDB-S DB-MDB-S DB-MDB-S …DB-MDB-S MGRNode www.top100summit.com www.top100summit.com 流式数据处理示例 1、创建流对象 benchmark=#CREATESTREAMinstructor1(intimecharnotnulldefaul