2023分布式数据库金融应用发展报告

分布式数据库金融应用发展报告（2023） 北京金融科技产业联盟2023年3月 版权声明 本报告版权属于北京金融科技产业联盟，并受法律保护。转载、编摘或利用其他方式使用本白皮书文字或观点的，应注明来源。违反上述声明者，将被追究相关法律责任。 编制委员会 主任： 潘润红 编委会成员： 聂丽琴林承军郭志军张海燕邓琼王志刚王鹏冲汪洋 编写组成员（按姓氏拼音排序）： 毕斓馨 蔡歌 陈昊 陈亮 陈明 陈伟红 陈曦 陈云峰 董勇明 杜蓉 高志会 顾鸿翔 郭家文 胡中泉 黄小慧 黄元霞 洪建辉 姜文峰 江智睿 金官丁 李博文 李亮举 李振 李中原 梁海安 廖涵 林海 刘强 刘学刚 刘耀华 罗后启 明玉琢 莫荻 庞天泽 齐文涛 乔旺龙 秦延涛 史新龙 宋歌 苏德财 苏强 田亮 王枫 王辉 王莉莉 王力玉 王敏达 王睿超 王薇 王栩 王永帅 谢旭东 吴洪辉 毋文涛 夏康 夏文勇 杨彬 杨光 杨锐 叶强林 于树文 于巍 岳艳涛 张积斌 张俊飞 张 翔 张兴强 张桦 张照东 赵琳 赵培 赵 琼 周明媛 周日明 朱飞 左奇 编审：黄本涛 彭卫华 张蕾 明玉琢 参编单位： 北京金融科技产业联盟秘书处中国工商银行股份有限公司中国银行股份有限公司 交通银行股份有限公司中信银行股份有限公司 中国光大银行股份有限公司华夏银行股份有限公司 平安银行股份有限公司 中国平安保险（集团）股份有限公司北京国家金融科技认证中心有限公司深圳市腾讯计算系统有限公司 华为技术有限公司 中兴通讯股份有限公司 北京百度网讯科技有限公司阿里云计算有限公司 北京奥星贝斯科技有限公司 平凯星辰（北京）科技有限公司广州巨杉数据库软件有限公司成都虚谷伟业科技有限公司 上海热璞网络科技有限公司上海英方软件股份有限公司贵州易鲸捷信息技术有限公司湖南亚信安慧科技有限公司 天云融创数据科技（北京）有限公司天津南大通用数据技术股份有限公司 目录 一、分布式数据库金融应用背景1 （一）数字化转型持续加快1 （二）数据库技术不断成熟3 二、分布式数据库金融应用进展情况10 （一）关键技术攻关10 （二）多层次标准建设13 （三）产品质量检测15 三、分布式数据库金融应用情况21 （一）类型分布21 （二）设计架构26 （三）场景应用30 （四）服务器部署40 （🖂）容灾备份44 四、分布式数据库金融应用成果53 （一）成果概述53 （二）指标分析55 五、分布式数据库金融应用挑战与应对61 （一）金融应用业务侧61 （二）分布式数据库侧68 一、分布式数据库金融应用背景 （一）数字化转型持续加快 国家“十四五”规划明确提出加快数字化发展建设数字中国。金融业一直以来重视信息科技创新应用，以人工智能、区块链、大数据、云计算等先进技术为代表的金融科技快速发展，助力金融业解决传统金融面临的痛点、难点，实现金融服务的提质增效。数据库作为金融信息系统的核心基础设施，有力支撑金融业数字化转型。北京金融科技产业联盟（以下简称“联盟”）分布式数据库专委会在开展行业调研的基础上，深入研究并总结金融业务发展趋势。 1.业务发展持续创新 随着互联网金融不断发展，金融业在金融服务场景化、生态化的趋势下，业务创新发展需要进一步加强多方第合作，以满足《金融科技发展规划（2022-2025年）》“以市场为导向、以需求为牵引，深挖数据综合应用场景，发挥数据和技术双轮驱动作用，在服务实体经济、惠及百姓民生、创新驱动发展、助力乡村振兴等领域实现数据综合应用与多向赋能”的要求。 数字化建设的业务改造过程中，数据库转型显得尤为关键。不同种类金融业务有着不同的数据需求，与之相对应的数据库不仅需要有海量数据存储能力和高并发交易支撑能力，还需要针对不同业务有多样化的功能。围绕客户体验、精准营销、风险控制等金融应用场景的业务创新对数据库技术提出了“更快捷、更高效、更稳定”的要求。 2.业务连续性要求不断提升 数字化转型发展的不断深入，进一步提高了对金融业重要业务系统运行连续性的要求。在移动金融加速金融服务普适化后，以银行业为代表的金融领域服务渠道呈现多渠道、移动化和全天候的特征。核心业务系统对连续性要求已达到“365天×24小时”级别，使系统维护、补丁升级等对数据库有全局影响的变更操作窗口时长缩短。同时，由于经营服务在社会经济运行中的特殊性质，监管部门对银行等金融场景的核心业务系统的稳定连续性提出了极其严格的要求。 《金融科技发展规划（2022-2025年）》也提出了“建高可 靠、多层级容灾体系，满足日常生产、同城灾备、异地容灾、极端条件能力保全等需求，提升金融数据中心纵深防御能力，逐步形成高可用数据中心格局”的要求。 随着金融科技不断发展，系统变得越来越复杂，数据的稳定与可靠成为金融业数字化转型面临的主要挑战之一。分布式数据库和数据存储技术的不断发展，为金融数据的存储带来更可靠的保障和容灾能力的提升，以此保证数据持续可靠，做到无损容灾，满足恢复点目标(RPO)、恢复时间目标(RTO)的要求，降低了服务器断电、宕机、硬盘损坏、自然灾害等意外场景对金融业务带来的影响。 3.业务迁移更加平滑 金融业的应用软件最高优先级关注点就是稳定性，数字化转型过程中首先追求稳定。从银行等金融机构部署架构趋势来看，早期通常是将服务器集中部署在大型机上，为的就 是稳定、高效、多并发。随着应用的发展，基于服务器来搭建不同应用的架构成为趋势，Oracle数据库开始席卷市场。后来，X86服务器兴起引起应用架构发生变化，尽管这时候数据库市场还离不开Oracle、DB2，但百花齐放的理念已经萌芽。如今，在分布式数据库技术蓬勃发展的前提下，金融业将部署在Oracle、DB2等数据库上的数据迁移至其他分布式数据库产品上时，必须平滑的实现新旧系统的替换，以降低新技术转型带来的风险，需要特别关注稳定性的保障，容灾过程当中RPO、RTO的真实情况，同城、异地RPO等重点。 4.业务动态扩展需求逐步加强 为应对线上金融突发的业务增长场景，如抢购、秒杀等，金融业基于持续进步的技术手段，不断快速创新和发展金融应用。从追求业务多元化到追求场景化创新、业务创新，再到金融数字化转型深入推进，新应用对金融系统的技术架构有了更为严格的标准和要求。在业务转型过程中，金融机构须充分考虑应用架构和数据库部署架构可动态扩展性要求，并且在扩缩容过程中保持对业务透明。 （二）数据库技术不断成熟 1.历史沿革 20世纪50年代，计算机开始应用于数据管理方面。但传统的文件系统无法满足数据指数型增长带来的数据管理、数据共享、数据检索的诉求。为了解决以上问题，60年代，数据库诞生。 数据库的核心理论支撑是数据模型，最早一代的数据库采用的是网状数据模型和层次数据模型，但这两种数据库在数据独立性和抽象级别上都有很大的欠缺。为了解决这些问题，1970年，关系数据模型的发表，奠定了关系数据库的理论基础，具有里程碑式的时代意义。随后，IBM在该关系数据模型的基础上，于20世纪80年代发布了DB2数据库系统。与此同时，Oracle，Sybase，MicrosoftSQLServer、Informix、PostgreSQL等其他众多的数据库系统开始问世。经过几十年的发展和实际应用，关系型数据库技术越来越成熟和完善，当前关系型数据库仍占据着全球数据库的主要市场。 随着互联网的兴起，数据量爆炸式增长，单机数据库越 来越难满足大规模数据的需求。在互联网金融、移动金融的快速发展下，移动互联网带来的渠道和服务的多样化如银企互联、移动支付等，引起业务量、数据规模以及瞬间峰值（抢购）的快速增长，传统单机数据库无法满足业务性能容量的需求，分布式数据库在这个背景下应运而生。20世纪90年代以来，分布式数据库从技术研究开始进入商业化应用阶段，逐渐成为了数据库领域的主流方向之一，也成为金融分布式新核心技术架构的基础。 从整体来看，数据库行业发展经历了“单机时代”“集 群时代”“分布式时代”“分布式和云时代”。如表1和图 1所示： 表1数据库发展历程表 时代 时间 标志性事件 标志性产品 单机时代 1960-2000 1964年IBM推出SYSTEM360 大型机；1971年贝尔实验室发布多任务多用户操作系统UNIX。 基于IBM360 的大机的IMS层次数据库和DB2关系型数据库。基于IBM小机和UNIX操作系统的Oracle数据库 集群时代 2000-2012 2001年甲骨文发布OracleRAC OracleRAC、MySQL读写分离集群等 分布式时代 2012-2017 2012年谷歌发布Spanner论文 GoogleSpanner、MySQLProxy等 分布式和云时代 2017至今 2017年谷歌推出CloudSpanner；亚马逊发布Aurora论文 CloudSpanner、AWSAurora、Snowflake、MSAzure等 图1数据库发展时间图 2.技术趋势 金融业在进行数字化转型的过程中，须以应用场景为牵引，推动以分布式数据库为代表的关键核心技术持续迭代完善，让技术成为金融业务发展的“新引擎”。 当前的金融业核心业务系统呈现由集中式走向分布式的发展趋势，数据库作为核心基础软件之一，未来也将面临承载金融应用向分布式转型的挑战。从之前数据库技术的发展历程来看，未来分布式数据库技术的发展将呈现五大技术趋势： （1）资源服务化 当管理的数据库实例数量上千后，不但运维成本（OPEX）增加，而且数据库的管理运维挑战将会呈现指数型上升。数据库管理人员（DBA）如果投入大量时间在硬件，操作系统，安装部署升级等运维工作上，将无法聚焦核心价值。因此，数据库产品的发展趋势之一将是利用虚拟化、容器化等云基础设施，实现弹性伸缩、高效安全的运维管理能力，实现数据库的服务化和资源化，提升数据库运维管理能力。 （2）运维智能化 随着卷积神经网络技术的普及，AI能力下沉到数据库成为未来另一发展趋势。通过与AI技术结合，有望提升数据库的自学习能力，从而提升数据库在运维过程中的参数配置、索引制定、路径规划的自处理能力，实现自监控、自诊断、自优化和自安全端到端运维管理技术，提升数据库产品的可用性和高性能，达到优化SQL、提高效率、降低运维成 本的作用。 （3）数据库密态化 攻击数据库、窃取信息是当今信息系统的一个主要安全问题。数据泄露或被篡改等安全事件对企业和组织带来的损失将是多方面的，既有可量化的经济损失，也有不可量化的品牌信誉和业务影响。因此，确保数据库安全越来越重要。数据库的另一发展趋势是密态化，即无论在何种业务场景和环境下，数据在传输、运算以及存储的各个环节始终都处于密文状态。当数据拥有者在客户端完成数据加密并发送给服务端后，在攻击者借助系统脆弱点窃取用户数据的情况下仍然无法获得有效的价值信息，从而起到保护数据隐私的作用。 （4）设计松耦合 从新技术的前瞻性来看，分布式数据库的核心价值在于数据库资源池在保证与传统数据库兼容的基础上，必须满足分布式弹性扩张，当资源池空间和计算能力不足时，需要通过动态增加计算存储节点的方式进行扩容。随着系统的功能的添加，新的实体对象的加入，新的关系关联，修改数据库将变得困难重重。因此逐步松耦合成为数据库设计的发展趋势，表现在将访问层与内核层松耦合，将计算层与存储层松耦合。访问层具备兼容多种生态接口，一个数据库支持多种插件，兼容多种引擎。提供标准的统一接口，屏蔽掉不同引擎的差异性。存算分离技术是实现松耦合的一种比较典型的技术类型，可以将传统分布式数据库的存储组件（数据持久 化）与计算组件（计算与内存管理）分开。 （5）混合负载处理 随着金融机构数据量不断增长，数据业务场景的日益复杂，数据库技术不再仅仅只面向于结构化的OLTP数据交易，需要进一步扩展到面向多样化数据实时对客服务的负责场景。传统的在线数据库拆分后的架构也需满足一些关联统计和实时分析的要求。在此类需求的驱动下，分布式数据库数据处理分析的实时性和融合性都将有所提升。客户可通过HTA