亚信安慧（北陌）：基于AntDB的CRM系统全域数据库替换实践

大数据 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 基于AntDB库的替C换RM实系践统全域数据 大数据技术标准推进委员会 大数据技术标准推进委员会 北陌｜湖南亚信安慧科技有限公司 据技术标准推进委员会 大数据技术标准推进委员会 自主·创新·引领 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 目录Contents 大数据技术标准推进委员会 01AntDB数据库演进与行业应用 大数据技术标准推进委员会 02数据库替换中的挑战与应对 大数据技术标准推进委员会 大数据技术标准推进委员会 03AntDB技术创新与性能优化 大数据 据技术标准推进委员会 大数据技术标准推进委员会 Chapter01 大数据技术标准推进委员会 大数据技术标准推进委员会 第一部分 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 AntDB数据库演进与行业应用 •16年磨一剑 大数据技术标准推进委员会 •中国数据库技术引领者 核心计费系统 首先应用于运营商秒满级足业海务量响数应据的分需析求 多移个动省/联份通应/电用信落的地 核包心括业C务R全M/线计覆费盖等， AntDB4.x 交通行心业项省目级落数地据中 大数据技术标准推进委员会 AntDB5.x （高原度生兼代容分O布ra式c架le特构性) “全国务首系个统”上核线心账 AntDB6.x 多模原生分布式数据库 大数据技术标准推进委员会 助5力G广，电稳全健面放进号军 流式实时数仓 “A超n融tD合B”架7.构X An8t.DXB 大数据技术标准推进委员会 多模融态合多型引数擎据超库融合 大数据技术标准推进委员会 第一代 第一代分布式 2012 2014 自研内存数据库 高可第用、二高代性能 AntDB3.x 拥抱PostgreSQL生态 拥抱MySQL生态 •工信部技术创新单项奖 •金融电子化金融业突出贡献奖 •连续两年入选Gartner《中国数据库管理系统市场指南报告》 •入选Forrester《中国数据管理生态系统导航报告》 •荣获信通院2022大数据【星河】案例标杆优秀双料大奖 •电信行业数据库产品能力测评通过 大数据技术标准推进委员会 •中国信通院数据应用创新实验室电信行业工作组“副组 2008 •最早一批投入国产数据库研发的企业 •通过“可信数据库”性能专项评测 长单位” 2022 2023 AntDB融合数据库发展历程 大数据 据技术标准推进委员会 2016 2019 2021 文档中的全部内容属亚信安慧所有，未经允许，不可全部或部分发表、复制、使用于任何目的。 大数据 以超融合为框架，打造自主可控数据库管理系统 大数据技术标准推进委员会 PostgreSQLMySQL兼容性 大数据技术标准推进委员会 核心代码自主可控 Oracle兼容性 高频交易与查询场景 交易、数据集市、轻量级报表 大数据技术标准推进委员会 Oracle替换及新型增量业务能力 海量结构化数据分析型场景 云原生架构与逻辑数仓机制 列式存储+向量执行引擎 大数据技术标准推进委员会 时序型数据的高吞吐量写 可插拔内核级嵌入式模块，极速优化执行效率 多数据源支持 低侵入高性能 全方位兼容性评估 入、查询和分析 适用于能源、交通、工业 TS等领域 大数据技术标准推进委员会 实时报表+异步交易 全方位可 安全可靠 非结构化数据向量化能 流式数据实时处理与视化 分析 力，数据库内向量检索 大数据技术标准推进委员会 图片、影像等非结构化数据的相似度检索 据技术标准推进委员会 文档中的全部内容属亚信安慧所有，未经允许，不可全部或部分发表、复制、使用于任何目的。 大数据 丰富的国产化经验，“技术+生态”服务多行业客户 大数据技术标准推进委员会 以标准化产品+生态能力覆盖中大型客户 大数据技术标准推进委员会 当行前了A部n署tD，B在总全服国务2用4个户省数的超运数营亿商客户进 标准化能力定制化/服务能力 通信金融 大数据技术标准推进委员会 跃连接，百万级TPS性能指标 分理布引式擎内存支磁持盘生混产合环型境引超擎过、30实,00时0在流线式活处 大数据技术标准推进委员会 A存n库tD进B从行2商00用8年，开经始历在了计大费量系的统实内战作验为证内 据技术标准推进委员会 超高1可0用年容长灾期、支回撑收24站省、核U心lt计ra费Sy、nc账等务机业制务， 中小客 华需为要、强阿客里户等服企务业能，力 大数据技术标准推进委员会 域K外A运中营大商客+户 大数据技术标准推进委员会 开基源于/免云费数产据品库/平台获客 KA客户 能源医疗 交通工业 ERPOA 营销… 平台/生态能力直销能力 大数据 据技术标准推进委员会 大数据技术标准推进委员会 Chapter02 大数据技术标准推进委员会 大数据技术标准推进委员会 第二部分 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 数据库替换中的挑战与应对 大数据 运营商核心业务系统数据库升级改造技术难点 大数据技术标准推进委员会 容 兼 应用系统改造量大高 大数据技术标准推进委员会 技术上：对象属性差异、字段属性差异、语法差异、物理模型改造......性 大数据技术标准推进委员会 研发成本上：应用改造和数据库割接、配套的数据交换能力建设...... 割接业务影响大 大数据技术标准推进委员会 工程 数据库是IT系统的核心服务，数据库的跨库割接涉及数据准确性问题、数据持久化安全、跨库割接技术复杂 数据校验耗时久、停机窗口长，核心库割接业务影响极大 大数据技术标准推进委员会 成熟度不足稳定性风险 发展晚、积累少，无大规模的高并发实践 大数据技术标准推进委员会 运维 SQL优化器相对弱，对复杂SQL支持弱 跟硬件环境，系统环境都有待进一步磨合 据技术标准推进委员会 日志、性能视图、运维工具等相关配套的运维能力不完善 一键化迁移 一站式服务 大数据 大数据技术标准推进委员会 前期准备迁移过程 大数据技术标准推进委员会 现状梳理迁移规划迁移验证迁移实施 可行性和风险分析 规划和需求理解 前期调研（应用、场景） 数据库迁移过程 大数据技术标准推进委员会 应用兼容性调研和评估AMCA评估报告 硬件资源评估 迁移规划和准备 大数据技术标准推进委员会 应用解耦与规划AntDB规划 高可用与资源规划容灾规划 AntDB部署 迁移改造和认证 应用改造、优化和联调数据库改造、功能验证 CDC全量数据导入AntDB联调与测试性能测试与调优 割接上线和保障 大数据技术标准推进委员会 全量和增量数据加载数据校验 异构数据库并行 CDC反向同步 业务链接原库（必要时） 迁移改造整体时间计划流程 据技术标准推进委员会 大数据技术标准推进委员会 第一阶段（0.5~1月）第二阶段（0.5~1月）第三阶段（1~2月）第四阶段（2~3月） 时间轴 CRM数据库替换相关工作 大数据技术标准推进委员会 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 大数据技术标准推进委员会 应用系统适配数据库基础改造、特殊场景重构与改造、分布式数据库、其他系统配合改造、性能测试和调优等方面评估改造点与改造量。 序号 功能大项 任务细项 改造说明 是否分布式 改造 AntDB 工作量 一 应库用基系础统改适造配数据 框架适配 包括框架适配、驱动适配、异构等改造（OCI、ODBC） SQL标准化数据库对象兼容改造适配 SQL通用化改造（左右连接）等，如sample、merger、nologging、别名约束、分页改造等数据库对象字段兼容改造，主要字段类型、长度、关键字，大字段、char等类型兼容 √√ ☆☆☆☆☆☆ ROWID兼容性改造、表结构调整增加主键 √ ☆☆☆☆ SQL兼容改造特性适配改造 ROWNUM兼容性改造，MySQL需要修改成Limit数据库函数兼容改造,包括DBMS系统函数。 √ ☆☆ sequence使用步长缓存优化 √ ☆ 分区表查询优化 对于分区partition表查询，如果不带分区条件需要做适配改造语法严格性检查方面如<>直接不允许有空格，to_date必须严格按照规范使用，特殊字符如【】等兼容 √√ ☆☆ 容错兼容改造 hint兼容改造，比如PARALLE\INDEX等兼容。 √ ☆ 二 特造殊场景重构与改 SQLLOAD的实现方式重构分区交换 重构预存抵扣替换SQLLOAD，使用Insert方式或者外部表（达梦）进行改造、性能优化。预存抵扣使用分区交换的流程需要重构 √√ ☆☆☆☆☆☆ 批量大事务的改造 针对sql执行时间过长做适配改造。主要是对账单、积分生成、预存抵扣等业务代码实现结构的改造 √ ☆☆☆☆ SHELL脚本导出数据的改造 对账单业务流程中涉及的部分需要重构 √ ☆☆ 三 分布式数据库 分片梳理和制定无片键实体 梳理所有表，制定片键（可以按域，全局）需要改造表结构，选择或者增加片键 √√ ☆☆☆☆☆ 应用改造 所有涉及的应用需要带着片键，单表、多表（需要多表都带片键） √ ☆☆☆☆☆ 应用改造 涉及表结构改造导致应用需要调整应用逻辑 √ ☆☆☆☆☆ 应用部署架构调整 两涉级分到片其，他地系市统隔或离者。子按照心地同市步进改行造分和片优集化群报部署，再按片键分片。系统、电子稽核、规则子中心、考核保障、客户运营支撑 及中表子中心、存量业务管理 √ ☆☆ 四 其他系统配合改造 周边系统配合改造 子出中账心期、任政务企订单子中心、订单中心、经分等全网账单出账、计费中心出账类（日月帐、套餐列帐），工单类处理（资料转换， 预存抵扣、积分出账、权益金抵扣、 √ ☆☆☆ 五 性能测试和调优 文档中的全部 核心批量业务改造 资金上发） √ ☆☆☆☆ 核心交易改造 充值、余额查询等调用量top10接口性能调优，计费中心查询代理，流量提醒 √ ☆☆☆ 重点业务改造 内容属亚信安慧所有，未 托收批扣、预缴分摊、对账单、计费中心工单处理类 经允许，不可全部或部分发表、复制、使用于任何目的。 √ ☆☆☆ 大数据 大数据技术标准推进委员会 •每套Oracle数据库均采用单机版AntDB数据库替换（部署架构为一主两备）。 1.高可用方案说明 大数据技术标准推进委员会 •数障据时库能节自点动分切布换于，两ad个bh机am房g，r+并ad使b用dcas确db保ha高m可gr用+。adbdcs组件进行高可用管理，主节点故 O高兼容度 racle兼容 AntDB的改变 上线后0持故续障平稳运行 相比原1环3境%性能提升 大数据技术标准推进委员会 大数据技术标准推进委员会 机房 A Master adbhamgr async sync DADB Slave1 adbhamgradbdcs 应用故障隔离 Slave2 adbhamgradbdcs 机房 B 流复制高可用容灾 数据库故障切换 2.异构数据库迁移方案说明 adbdcs 全量同步 大数据技术标准推进委员会 Oracle增量同步 DSG 增量同步 全量同步 AntDB 优停机势时：间短，预计停机半小时以内缺需维点护：同步状态，需采购DSG软件 CRM系统数据库替换方案详解 据技术标准推进委员会 大数据技术标准推进委员会 增An量tD同B数步据：库在中停；机在之割前接，时使，用只D需SG要同同步步软最件后，一先次将增O量rac，le即数完据成全数量据同同步步到。AntDB中；后续使用DSG持续将Oracle中的增量数据同步到方迁移案后结国论产：数高据兼库容性度能的相An比tD原B数环据境库提，升与13O%ra，c并le原实库现语上法线、后函0故数障等。高度兼容，节省了迁移的成本和代价，为浙江移动客户节约成本， 文档中的全部内容属亚信安慧所有，未经