金融行业开放平台数据库转型白皮书

金融行业开放平台数据库转型白皮书 北京金融科技产业联盟2023年11月 版权声明 本报告版权属于北京金融科技产业联盟，并受法律保护。转载、编摘或利用其他方式使用本白皮书文字或观点的，应注明来源。违反上述声明者，将被追究相关法律责任。 编制委员会 主任： 聂丽琴刘承岩 编委会成员： 黄本涛王辉（工行） 编写组成员： 董勇明 史大鹏 李林 庄乾锋 董里 赵耀庞毅 陈伟红 郭凤鸣 谢军 白阳 徐旭 王辉（华夏） 杨勐 徐雅光 韩竺吾 李倩 毛思平 王莉莉郑皓广 王鹏冲 李中原 王嵩阳 李斌 娄贺展 编审：林承军 张蕾 参编单位： 北京金融科技产业联盟 中国工商银行股份有限公司华为技术有限公司 中国农业银行股份有限公司中国银行股份有限公司 中国建设银行股份有限公司中国光大银行股份有限公司华夏银行股份有限公司 兴业银行股份有限公司平安银行股份有限公司 摘要 “十四五”规划提出了“加快数字化发展”的总体布局，金融服务是支撑数字经济发展的关键要素，同时自身也有数字化转型的发展诉求。金融开放平台数据库作为金融信息系统的核心基础软件，转型升级对于突破金融效率瓶颈、释放金融创新空间、提升金融服务水平、支撑金融行业数字化转型和高质量发展具有重要而深远的意义。 在开放平台数据库转型中，面临着技术选型难、系统迁移难，综合风险提升等诸多挑战。本文通过调研金融行业开放平台数据库技术应用现状、分析金融行业数据库架构转型中的重点和难点应用场景、并结合开放平台业务系统关系型数据库的应用转型实践，提出转型解决思路和建议。文中述及的方案以数据库的集中式+分布式双栈架构，满足金融业不同的业务场景需求：对于稳态业务，采用集中式部署，满足快速原地平替的转型需求，对于敏态业务，采用分布式部署架构，满足系统快速弹性扩缩容的需求。 数据库转型是一项复杂的系统性工程，本文对多个关键技术 领域，包括同城双集群容灾、对象迁移、数据迁移、数据校验、测试验证、并行方案等都进行了深入的阐述和分析，给出了整体技术方案建议和实践案例，可为金融同业及相关领域从业者提供参考。 目录 一、金融行业开放平台数据库现状调研及转型思路1 （一）金融行业开放平台数据库部署情况1 （二）传统数据库在金融行业应用的架构及能力4 （三）数据库转型挑战6 （四）转型目标和总体思路8 二、金融典型业务数据库需求及选型建议10 （一）金融典型业务数据库需求10 （二）国产数据库技术路线分析12 （三）数据库架构选型建议19 三、开放平台数据库转型方法24 （一）方案规划设计24 （二）数据库迁移31 （三）投产运行34 四、数据库转型实践38 （一）现状38 （二）挑战38 （三）转型实践41 （四）转型效果48 五、金融行业应用数据库转型未来展望49 （一）云原生数据库各类技术路线相互融合49 （二）金融行业数据库技术应用的建议57 参考文献60 一、金融开放平台数据库现状调研及转型思路 （一）金融行业开放平台数据库部署情况 1.金融行业数据库技术发展历程 数据库作为金融信息系统的核心基础软件，历经数十年发展，为金融行业经营战略转型升级提供了有力的技术支撑，伴随着金融行业信息系统的演进，经历了不同的发展阶段。 信息化阶段：改革开放后，我国金融行业面对信息技术革命滚滚大潮，积极学习和吸收世界金融行业技术革新成果，告别了手工记账时代，开启电子化、信息化建设进程，带来了金融行业工作方式和业务处理的巨大变革。 数据集中阶段：金融体制改革不断深化，开始推动金融系统向纵向统筹管控发展，金融行业走向数据大集中的发展道路。工行、农行、中行、建行等国有大行于世纪之交率先开启集中式金融信息系统技术体系建设，宣告中国大型金融机构步入集约化经营时代。这一时期，商用集中式数据库以其高效的数据存取效率、优异的系统稳定性，很好地契合了金融行业对数据存储管理的需求，为金融行业实现信息集中统计处理、财务集中改革、风险集中控制、业务集中管理等奠定了坚实的技术基础。 互联网金融阶段：金融行业出现电子银行、电子支付等新 业态，相比线下转账等传统金融交易场景，业务场景和业务量都有了显著提升，金融行业开放平台技术体系相应的涌现出多种不同的数据库产品，有效实现金融服务的降本增效和创新发展。互联网金融的异军突起，促进了基于开源数据库的金融级解决方案发展与成熟，在互联网领域具备较多应用案例的开源数据库也逐步引入金融行业。金融行业吸收业界数据库技术应用的成功经验，并结合金融交易场景推陈出新，不断扩展开放平台数据库在金融行业的应用范围，有力支撑金融行业向信息化转型。 数字化转型阶段：在这个阶段，两类关键需求正在驱动数据库技术发展演进。一方面，随着数字化转型深入，以及疫情的影响，加速了手机银行、手机支付的使用，处理超高峰值、海量数据成为关键需求特征；另一方面，随着金融行业信息技术创新应用的深入，数据库如何保证金融信息系统更好，更稳定地运行，提升系统韧性，支撑金融业务创新成了新课题。各金融机构纷纷围绕这两类需求开展了数据库架构转型工作，探索各种新型国产数据库产品在金融应用场景试点和落地案例，同时也涌现出众多与各类新的软硬件平台相适配的分布式数据库产品。 2.金融行业数据库应用现状 集中式数据库成熟稳定：传统商业集中式数据库以其较强的功能黏性、优秀的系统稳定性、良好的软硬适配能力，目前在金融行业的存量应用仍占据较大的份额。而国产数据库和MySQL、PostgreSQL等开源数据库近些年逐渐从金融外围系统向金融核心业务延伸。 分布式数据库广泛试点：为应对数字化转型带来的高并发、海量数据、超高峰值等挑战，以及传统商业数据库迁移的难题，近年来各金融机构都在探索数据库转型的多种技术路线及推广，分布式数据库在金融行业应用规模已经有明显提升。 传统集中式数据库占比高：虽然分布式数据库应用不断增加，但集中式数据库应用仍占据主要份额。据金融信息化研究所《金融业数据库供应链安全发展报告》（2022）的数据显示，集中式数据库应用在金融业整体占比接近90%，其中银行 业占比接近80%，证券业和保险业占比均超过90%。金融业集中式数据库占比情况示意见图1。 图1金融业集中式数据库占比情况示意图 （二）传统数据库在金融行业应用的架构及能力 1.传统数据库高可用架构 传统数据库高可用架构完备：可以满足金融客户不同灾备 等级、灾备部署及相关RPO和RTO要求。如Oracle数据库提供 的高可用容灾方案包括RAC、ADG和存储复制等技术，该方案采用基于FC-SAN外置存储的存算分离架构，底层以共享存储 （SharedStorage）的模式对接企业级存储盘机保证数据的高可靠，计算层部署多个无状态Oracle实例（RAC），通过缓存融合技术（CacheFusion）实现计算实例多读多写。本地高可用基于RAC实现故障快速切换，实现RPO=0，RTO秒级，同城通 过ADG（ActiveDataGuard）进行数据同步，通过集中存储磁盘复制同步日志确保同城故障切换时数据完整性，实现RPO=0，RTO=10—30分钟。高可用架构示意见图2。 图2Oracle高可用架构示意图 目前传统数据库的成熟度高，在金融行业应用广泛，内核稳定，各类技术方案经过充分生产验证，具备完善的高可用容灾及配套工具和监控告警等运维体系。 2.传统数据库主要能力 传统数据库功能强、特性多。传统数据库由多个组件组 成，除了在数据库的使用上有相对统一的SQL标准以及ODBC、JDBC规范外，其他组件并没有规定如何实现。比如数据字典、存储组织、并发控制、事务机制、会话管理、权限管理、持久化等方面，每个数据库的设计和实现并不相同。每个数据库系 统基于不同设计理念和实现，在系统规格上一般也有较大的差异。 以ORACLE数据库为例，在金融行业使用的主要能力如数据库表、索引、存储过程、序列、视图、触发器、自定义类型等数据库对象和高级包函数、自治事务、递归调用、自连接等复杂特性。 （三）数据库转型挑战 系统性工程：数据库转型是一项系统性工程，金融机构在长达数十年的使用过程中，部署了相当规模的传统数据库，并在其上耦合开发了大量应用，积累了相关软硬件规划、上线、调优、监控、运维、变更等能力，例如由传统Oracle数据库、Redhat操作系统、IBM大小机、X86服务器、FC-SAN存储及其网络等构成的典型的技术堆栈，亟需形成一套系统的数据库架构转型方案体系进行转型替换，端到端指引每一步的转型工 作，确保“飞机空中更换发动机”之后生产平稳运行。 技术选型难：目前在国内政策和国际环境的双重作用下，国产数据库百花齐放，起步较早的国产数据库厂商已经在稳定性和性能有很大提升，并在金融、政府等重要行业得到验证，但总体上仍有差距。面对如此众多的数据库厂商（200+国产数据库厂商）及其技术发展路线和部署架构，金融行业亟需解决 如何进行数据库的选型。 迁移过程难：除了面临数据库选型难的问题，开放平台迁移还要考虑解决以下三个核心问题： 一是可用性问题，如何保证系统的高可用、高可靠及容灾能力。存量的开放平台传统应用往往具有历史比较久远、业务长期稳定、关联应用较多等特点，随着金融业务的持续创新，数据库转型也在不断实现底层系统架构的演进和迭代，必须充分考虑数据库的本地、同城、异地系统的可用性、可靠性及容灾设计，有效控制风险并持续优化，保障迁移过程应用服务平稳运行。 二是功能及性能问题，如何解决传统数据库以及构建在其上的应用同构功能与性能体验。传统应用与数据库高度耦合的优势在于减少了系统组件之间的交互开销，对性能通常有较高要求，架构转型需在满足业务性能指标要求的同时，做到性能体验不下降。同时，需要关注传统数据库功能的平替能力，一方面具备传统数据库功能的平替能力，另一方面能够对平替后功能进行系统验证。 三是平滑安全迁移问题，如何降低整个过程的实施成本并降低风险。完全兼容商业数据库、无需应用层改造的原位替换迁移方案，可以屏蔽数据库特性差异和业务逻辑，有效降低技 术复杂度和转型工作量，适合金融行业规模推广使用。同时，金融机构在数据库迁移过程中需重视目标数据库产品的安全可信能力及安全等保要求，同时也要保障技术供应链的安全合规和稳定可靠。 （四）转型目标和总体思路 1.数据库转型目标 开放平台数据库转型目标：具备支撑金融开放平台业务系统稳定运行的能力，支持全业务场景，覆盖关键业务系统、一般业务系统和办公系统，转型后新系统达到“安全有保障，容灾有提升，功能不受损，服务不降级”，整体能力从“可用”转向“好用”。 第一，保证数据库系统安全可信。金融级数据库的首要目标是生产安全稳定运行，具备7*24小时连续服务能力。转型要保证数据库软硬件系统的整体安全可信，即使在某些软件故 障、硬件异常的情况下，数据库都应保证数据的强一致性及系统的稳定性。数据库存储业务应用的核心数据，任意一笔数据错乱、丢失将带来严重影响，要满足安全等级保护中对数据的机密性、完整性要求。 第二，进一步提升数据库系统的容灾能力。金融级数据库为确保在异常情况下数据不丢失、不错乱，需要具备多地多中 心的容灾及快速恢复能力。可以通过数据库软硬件协同的系统设计，实现系统级的灾备能力及指标提升，例如，数据库双中心容灾RPO=0，RTO<=2分钟，异地容灾RPO<=1分钟，RTO<=10分钟等。 第三，目标数据库具备源数据库的功能。金融级数据库经过近二十年应用和演进，已有大量存量数据库部署，需要充分考虑已经开发并部署的应用逻辑，例如存储过程、触发器、函数等特性，通过功能同构的平替能力，提升应用逻辑的兼容性，实现原位替换，简化转型工作量，加快转型节奏。 第四，保持原有数据库系统的服务等级。金融级数据库服务于涉及国计民生的重要业务系统，需要保证转型后用户使用体验的一致性，需要重点关注交易响应时间、并发交易处理能力等核心性能容量指标，并要根据应用发展趋势预测，预留一定的扩容能力。对于大事务、慢SQL等异常及时发现并查杀，做到不死可