您的浏览器禁用了JavaScript(一种计算机语言,用以实现您与网页的交互),请解除该禁用,或者联系我们。[北京金融信息化研究所]:2024年金融业数据库创新发展报告 - 发现报告
当前位置:首页/行业研究/报告详情/

2024年金融业数据库创新发展报告

AI智能总结
查看更多
2024年金融业数据库创新发展报告

I 主任: 潘润红 副主任: 黄程林、庄文君 编委会成员(排名不分先后,按姓氏拼音排序): 丁锐、董晓杰、封铨贤、郭志军、何东川、侯敏、胡捷、胡青里、黄建坤、黄韦、简丽荣、刘超千、刘震、马波勇、唐海勇、陶建林、汪洋、王鹏冲、王文志、王新明、王义成、王子健、巫建刚、肖永、杨传辉、杨阳、张军、张有才、赵培、赵世辉、赵义斌、朱妍 编写组成员(排名不分先后,按姓氏拼音排序): 鲍思佳、毕建波、陈灿荣、陈伟红、陈琢、程静、从平平、董红亮、董卫春、高环宇、耿航、管文琦、郭旭瑞、黄先龙、蒋步健、李会亮、李宁宁、李倩、李中原、刘传友、刘方彪、刘剑波、刘亚琼、刘宇、刘云、刘昭、罗兰瑞婧、骆毅、吕伟初、马涛、苗浩、秦延涛、饶昊泉、尚留金、沈华金、盛玉、孙国荣、孙伟、唐润鸿、王辉、王鹏、王帅强、王文清、王智囊、肖兵、肖静静、肖淑男、徐赞、颜龙、杨光、俞泽宁、张春生、张刚、张子鉴、周欢、周勇 主编单位: 北京金融信息化研究所 建信金融科技有限责任公司交通银行股份有限公司 中国邮政储蓄银行股份有限公司平安银行股份有限公司 华夏银行股份有限公司广发银行股份有限公司恒丰银行股份有限公司江苏银行股份有限公司 北京农村商业银行股份有限公司国泰君安证券股份有限公司 中国人寿保险股份有限公司 中国太平洋保险(集团)股份有限公司北京奥星贝斯科技有限公司 腾讯云计算(北京)有限责任公司武汉达梦数据库股份有限公司 金篆信科有限责任公司 参编单位: 中国农业银行股份有限公司中国银行股份有限公司 渤海银行股份有限公司 浙商银行股份有限公司北京银行股份有限公司 上海农村商业银行股份有限公司中信证券股份有限公司 华泰证券股份有限公司国信证券股份有限公司 中国人民人寿保险股份有限公司泰康保险集团股份有限公司 中国银联股份有限公司网联清算有限公司 平安科技(深圳)有限公司华为云计算技术有限公司北京酷克数据科技有限公司 随着金融科技稳步发展,数据成为重要生产要素,金融业务与数字技术的融合创新迈向数字金融发展新阶段。为助力数字金融的高质量发展,适应数据量的快速跃升,亟需建立健全满足现代化需求的数据架构,而数据库作为数据架构的根基,始终是金融业关注的焦点。近年来,金融机构加大我国数据库技术产品应用的广度和深度,不断在核心业务系统取得突破,持续推动数据库架构优化升级,加快提升自主掌控能力,为构建现代数据架构、提升数据能力奠定坚实基础。 本报告在连续两年发布的《金融业数据库供应链安全发展报告(2022)》《金融业数据库创新发展报告(2023)》基础上,全面总结集中式与分布式、关系型与非关系型、HTAP、云数据库等技术产品在金融业的总体进展,系统沉淀大型、中小金融机构在核心系统领域的探索经验,提出核心系统转型升级的路径和方法论,前瞻性预判生成式AI、软硬一体化、存算分离等技术对金融业数据库迭代升级的影响,围绕金融业数据库应用生态面临的社区不活跃、产品稳定性不足与版本迭代频繁、平台与工具少、文档不完善、运维支持力度不够、人才短缺等紧迫问题,提出具体解决措施,并从应用广度深度、产品能力优化、部署架构和迁移方案、金融应用生态等方面展望未来发展趋势,为金融业数据库进一步创新发展提供有益参考。 1.金融业数据技术产品应用总体进展3 2.金融核心系统数据库实践经验不断沉淀5 2.1大型金融机构率先开展创新,积累丰富实践经验7 2.2中小金融机构紧跟迭代步伐,夯实数据库基础能力32 2.3不断完善升级路径和方法论,为同业提供参考借鉴43 3.技术创新加速金融业数据库技术迭代升级45 3.1生成式AI加速非关系型数据库发展45 3.2软硬一体化降低数据库适配调优工作48 3.3存算分离架构提升数据库扩展灵活性51 4.金融业数据库应用生态亟需进一步完善53 4.1金融业数据库应用生态面临问题53 4.2金融业数据库应用生态发展建议57 5.金融业数据库创新发展展望61 5.1数据库创新应用的广度和深度显著提升62 5.2数据库技术产品能力持续得到打磨优化63 5.3高效灵活部署架构和迁移方案不断推出65 5.4数据库创新应用生态将会逐步健全完善66 附录:金融业数据库优秀应用案例集 数据库作为核心基础软件,是金融信息系统安全稳定运行的关键。近年来,金融业积极推动数据库的创新与应用,将安全可控的数据库技术产品广泛应用于各类金融业务系统,尤其在核心业务系统不断取得突破,为金融业加快推进数据库创新发展树立标杆、提供借鉴。 一是集中式数据库在中小金融机构仍占据主导地位,而分布 式数据库在大型金融机构的创新应用发挥重要作用。城商行、农商行及农信社等中小金融机构因为成本效益、运维复杂度或技术 熟悉度等因素,更倾向于继续使用集中式数据库,其实例数占比仍有80%,展现出不可替代的绝对优势。分布式数据库得益于高可用性、强大并发处理能力和灵活弹性扩展等特性,可以满足大体量业务系统对数据库处理能力和扩展性方面的要求,保持较好的增长趋势,在大型金融机构普遍应用于核心业务系统,表明分布式数据库在金融业的创新发展已经得到验证和认可,其在金融业中的地位和作用将进一步增强。未来,随着技术进步和金融业需求的不断变化,分布式数据库与集中式数据库将长期保持竞争和互补关系。 二是非关系型数据库在金融业应用占比有所上升,但关系型 数据库仍占据主导地位。这主要归功于关系型数据库的强大事务 处理能力、稳定性能以及成熟技术体系,使其能够有效处理结构化数据并支持复杂查询,成为金融业使用最广泛的数据库类型。非关系型数据库包括NOSQL数据库、键值对数据库、文档数据库、 图数据库、向量数据库和时序数据库等多种类型,在处理大数据及非结构化数据方面表现优异,能够满足金融业对海量非结构化数据的快速处理需求,特别在国有大行和股份制银行中,非关系型数据库的实例数占比已超过20%,展示出金融机构在追求数据处理效率和灵活性方面的积极探索。随着金融业务的复杂化和数据类型的多样化,非关系型数据库的占比有望继续增长,而关系型数据库将继续发挥其在事务处理和结构化数据管理方面的优势。 三是OLTP数据库依然占据重要地位,而OLAP和HTAP数据 库的占比则呈现出上升趋势。OLTP数据库(联机事务处理)作为处理事务性工作负载的数据库系统,广泛应用于客户交易类、 业务办理等场景,在金融业数据库实例中占比最高,达到65%。OLAP数据库(联机分析处理)在决策支持和分析工作负载方面表现较好,常用于报表生成、数据分析等系统,其占比为21%。随着金融数据量的不断增长以及数据处理需求的多样化,HTAP数据库(混合事务/分析处理)需求量有所上升,整体占比达到14%。 数据来源:金融信息化研究所图1金融业OLTP、OLAP、HTAP数据库实例数占比情况示意图 四是云数据库产品在金融业应用取得显著成果。云数据库具备灵活可扩展、高可用性、高容灾性、自动化管理和成本集约等特性,在金融业应用逐步深入,实例数占比已达到44%。其中,民营互联网银行云数据库实例数占比最高,达到令人瞩目的86%,网商银行和微众银行基本全部使用云数据库;国有大行也在不同程度采用了云数据库,实例数占比达到54%。在IT基础设施上 云的趋势下,随着数据库软件架构升级不断进步与成熟,云数据库将在数字金融发展中发挥重要作用。 核心系统是金融机构业务的关键组成部分,也是金融业信息化建设的核心和基础,基于其特殊性,业务及监管对系统都有极高标准的要求。核心系统要能够高效处理大量的交易数据,支持 复杂的业务逻辑和流程,并迅速响应客户的各种需求,同时保持高度的稳定性、安全性,并具备卓越的性能和资金交易等业务的数字准确性和完整性。金融机构的核心系统早期都使用IOE架构,但随着业务的爆发式增长,该架构封闭的技术栈性能问题逐渐暴露,核心系统的数据库容量一般在10TB乃至100TB之间,数据库的运行压力逐步增大,并存在严重的供应链安全风险,一旦遇到问题将导致整个关键业务的瘫痪。为此,探索建立自主可控且稳定高效的金融核心系统迫在眉睫。 大型金融机构采用分布式技术架构路线,基于PC服务器,使用分布式数据库,加快推动核心系统的转型升级,提升金融行业的自主可控水平。随着基础软硬件产品和技术的不断打磨和成熟,分布式架构已成为大型金融机构建设新一代核心系统的主流路线。而中小金融机构相比于大型金融机构,核心系统处理的交易量、架构复杂度相对较小,数据库技术和人员储备存在不足,核心系统数据库升级更加依赖数据库企业的能力,故其进展相对较慢,但也在对公信贷、会计核算等核心业务领域开展探索。 为此,报告从核心业务考量、转型创新策略、技术路线选择、基础能力夯实等各方面,系统全面分析了银行业、证券期货业、保险业等不同类别、不同规模的金融机构,在核心系统领域的探索实践,并结合行业实践情况,总结提出核心系统数据库转型升级的方法论,为行业提供参考。 2.1大型金融机构率先开展创新,积累丰富实践经验 大型金融机构积极贯彻落实国家科技创新发展战略,适应数字经济时代发展需求,根据自身发展定位、技术储备、业务特点等现实情况,按照分布式转型、核心验证、云化部署等路线,加快推动我国数据库技术产品在核心系统建设上的创新应用,不断开展核心系统数据库分布式架构转型升级,并朝着国产化、分布式、云原生的总体路线演进。 2.1.1建设银行采用先核心后外围的创新策略 (一)发展策略 建设银行数据库的升级迭代采用“先核心应用,后规模化推广”的策略,通过在核心系统创新实践我国数据库技术产品,完成了核心系统数据库分布式架构升级,自投产上线以来系统持续平稳运行,并将分布式数据库创新经验复制至其他系统,形成端到端的银行业信创解决方案,取得了一系列优秀创新实践成果,有力推动本行科技自立自强战略的落地实施。 建设银行数据库创新主要经历三个主要阶段,每个阶段结合业务系统的改造,真试真用。第一阶段进行分布式数据库选型,通过建设银行的核心系统,真实的业务数据、交易和需求,进行全面的功能和非功能测试;第二阶段为核心系统试用阶段,用核心系统最高要求来检验我国数据库的技术指标,并积极推进关键 指标的改进和完善,形成了一整套的我国数据库金融解决方案;第三阶段为规模化应用和创新,2022年启动小型机下移,进行我国数据库规模化应用,并针对金融规模化应用遇到的典型问题进行创新,包括Oracle迁移、数据库云化供给等。 (二)面临问题 无论是架构升级还是自身能力迭代演进,我国数据库技术产品的首要目标都是确保系统稳定可靠,升级过程平滑,且可分层解耦、风险可控。同时,作为基础软件的数据库,对应用系统的影响要尽可能做到最小,除了自身要提供完善的功能,还要对应用系统屏蔽自身的架构复杂度,让应用简单地使用数据库。我国数据库相比国外商业数据库的成熟时间较短,与国外商业数据库还存在一些差距。 (1)我国数据库技术产品需要进一步提升健壮性和稳定性。稳定性和可靠性对于建设银行的核心业务是第一位,在处理海量数据和复杂的查询请求时,需要具备平稳的服务能力和容错能力;在系统故障时能够快速恢复,确保任何节点的故障都不会给整个系统造成太大的影响,保证数据的安全性和完整性;提升版本稳定性,降低频繁版本迭代给应用带来的稳定性风险。 (2)分布式数据库资源需求高。相较于集中式数据库将所有数据存放在一个节点,分布式数据库将数据分布到多个独立的节点中,每个节点都有自己的计算和存储单元,如果每个节点占用一台物理服务器部署,叠加上数据副本占用的资源,集群整体 资源成本会比较高。 (3)运维管理工具面临巨大的挑战。金融机构数据中心往往运行着多环境、多品牌、多架构、多版本的分布式数据库,加上分布式数据库自身运维管理复杂度高,其运维难度显著增加,在现有DBA人员规模情况下,数据中心的分布式数据库运维管理工作面临巨大挑战。 (4)需进一步降低节点切换和灾备切换时间。金融核心业务系统在业务连续性方面有着高标准要求,根据建设银行关键业务系统多活容灾建设需求,在满足亿级客户的数据存储以及并发访问等需求的基础上,需进一步缩短分