2024金融应用DBaas技术

金融应用DBaaS技术研究报告 北京金融科技产业联盟2024年7月 版权声明 本报告版权属于北京金融科技产业联盟，并受法律保护。转载、编摘或利用其他方式使用本白皮书文字或观点的，应注明来源。违反上述声明者，将被追究相关法律责任。 编制委员会 主任： 聂丽琴 编委会成员： 黄本涛林承军胡捷汪洋 编写组成员： 梁昊然孙康王辉王晓华朱彬郝庆运张多子赵亮王荣鑫霍俊路杨欣于沛涛王栩王枫郭智慧彭晋王瑾玲梁海安梁广涛路新英周研张晨李欢王睿操李保洋吴雨霏黄小慧徐玮峰编审： 夏康张蕾 参编单位： 北京金融科技产业联盟秘书处中国工商银行股份有限公司中信银行股份有限公司 华夏银行股份有限公司 中国民生银行股份有限公司招商银行股份有限公司 中国平安保险（集团）股份有限公司阿里云计算有限公司 深圳市腾讯计算机系统有限公司 北京奥星贝斯科技有限公司蚂蚁科技集团股份有限公司 上海爱可生信息技术股份有限公司浙江创邻科技有限公司 北京百度网讯科技有限公司 目录 一、概述5 （一）传统数据库管理之困局6 （二）DBaaS解决的问题7 二、行业应用现状8 （一）金融行业8 （二）互联网及其他行业8 三、DBaaS服务关键技术14 （一）云管控与业务解耦15 （二）高可用管理16 （三）资源调度17 （四）多集群联邦管理17 （🖂）服务接口开放18 四、发展展望18 （一）多云和混合云策略18 （二）自动化和智能化19 （三）更加完善的数据安全19 （四）更多数据库的支持19 （🖂）Serverless技术20 引言 随着数字化转型不断深化，数据库管理面临数据规模迅速增长和数据形态多样性带来的诸多挑战。云计算技术结合数据库即服务（DBaaS）技术是解决云环境下大规模数据库集群管理困难的一种重要途径。这种方式可有效应对业务和数据量爆炸式增长，降低整体的使用成本，带来更好的平台化效益，加速数据库基础设施对业务赋能的效率。北京金融科技产业联盟分布式数据库专委会组织开展应用研究，编制形成《金融应用DBaaS技术研究报告》，为同业推进DBaaS技术，更好的实施金融行业数据库转型提供参考。 名词解释 DBaaS(DatabaseasaService)：一种将数据库管理以云 的架构提供服务的模式，使得企业无需担心数据库的运维问题。 IaaS(InfrastructureasaService)：一种云服务模式，提供商为用户提供虚拟化的硬件资源，如服务器、存储和网 络。 PaaS(PlatformasaService)：一种云服务模式，提供商为用户提供一套软件和硬件平台，用户可以在上面开发、运行和管理应用程序。 SaaS(SoftwareasaService)：一种云服务模式，提供商为用户提供网络访问的软件应用。 多租户(Multi-tenancy)：在一个物理环境中运行多个逻辑环境的能力。在DBaaS中，多租户允许多个用户共享同一个集群，同时保证各自的数据安全和资源隔离。 弹性(Elasticity)：云服务的一种关键特性，允许用户根据需求灵活地增加或减少资源使用。 高可用(HA,HighAvailability)：一种系统设计原则和技术，旨在最大限度地减少系统停机时间。 容灾(DR,DisasterRecovery)：一种策略，用于保护企业在自然灾害、网络攻击等灾难性事件中的数据和服务。 公有云：一种云计算模式，通过网络为公众或大型组织提供可共享的计算资源和服务。公有云通常由第三方云服务提供商运营，用户只需按需使用和付费。 专有云：一种云计算模式，通过网络为单一组织提供专用的计算资源和服务。专有云可以在组织的内部数据中心部署，也可以由第三方服务提供商托管。 一、概述 数据库存储和管理业务的关键数据，是金融信息系统的核心。随着数据量的爆炸性增长和云计算技术的迅速发展，传统的数据库管理方式已难以满足现代企业的需求，数据库即服务(DatabaseasaService,DBaaS)应运而生。 DBaaS作为一种云服务模型，提供了一个数据库管理的环境，用户可以在其中创建和使用数据库，而DBaaS提供方负责维护底层的服务器硬件、数据库软件、备份和灾难恢复、高可用性等功能。这使得数据库用户可以更加聚焦在如何使用数据以及如何优化数据的查询，而不是如何管理和维护数据库。 公有云提供商如亚马逊、阿里云、华为云、腾讯云、百度云等，通常有大规模的基础设施，这类基础设施需满足及时迅速扩展资源的需求。DBaaS可以充分发挥公有云弹性伸缩、按需付费等特点，对于处理大数据和应对突发流量有明显优势。 金融行业广泛使用的专有云或传统架构也可以借助DBaaS技术优化其数据库集群的运维管理，进一步降低整体成本。在金融行业应用环境下，DBaaS主要的功能包括： 方便数据库管理：DBaaS可以提供一致的数据库管理体验， 包括自动备份、版本升级、性能监控等功能。 提高数据安全性和合规性：金融行业对数据安全和合规性要 求非常高，专有云下的DBaaS可以提供更高级别的控制和定制化服务，满足特定的需求。 减轻数据库管理员的负担：通过自动化的数据库管理，DBaaS 可以减轻数据库管理员的运维压力，让他们更加专注于更高价值的工作，如数据架构设计、性能优化等。 DBaaS作为一种新的数据库管理模式，体现出业务和应用的关注点从“数据的管理和维护”转向“数据的价值和使用”这一IT服务理念。在该理念的驱使下，数据库应更加高效、灵活、经济地满足企业的数据管理需求，帮助企业更好地应对数字化时代的挑战。 本文从金融行业视角，深入探讨DBaaS的理念、实践和应用，介绍DBaaS如何改变数据库管理的方式，以及如何提高效率和灵活性，更好地服务线上线下用户。 （一）传统数据库管理之困局 在大数据时代，传统的数据库管理面临着许多挑战。数据量的快速增长使得数据存储和管理变得越来越复杂。根据IDC国际数据公司预测，预计2025年全球数据量将增长至175ZB，相较于2021年的45ZB数据量，增长近三倍。其中，我国数据量将超越美国位居全球首位，数据量预计将达到48.6ZB，占全球总量的27.8%。 6 图1数据规模增长趋势（数据来源：IDC、希捷） 同时，需要处理的数据类型也变得越来越多样化，包括结构化的表格数据，非结构化的文本、图像、视频数据，以及半结构化的日志和网络数据，都需要有效地管理和查询。 随着监管的不断加强，保障数据的安全性和合规性也是一个重要的问题，特别是对于金融行业，作为企业和组织核心资产的数据库，其可用性直接关系到业务的正常运行。同时，如何在发生灾难时快速恢复数据库，也是一个重大的挑战。 （二）DBaaS解决的问题 现代数据库平台在云计算体系发展出的DBaaS技术(数据库即服务)，成为解决以上挑战的一个重要方式。DBaaS与传统的数据库管理平台不同，通过引入云计算的理念，利用综合的云化技术，加速数据库基础设施对业务赋能的效率，提高系统的整体稳 定性，为使用者带来更好的平台化效益。DBaaS提供的全管理的数据库环境，避免了用户耗费大量精力思考如何管理和维护数据库，使得用户得以将资源聚焦在如何使用和分析数据上，支持业务更好的发展。 DBaaS能提供灵活的资源管理和扩展机制，通过动态调整资源，避免传统数据库在处理海量数据时遇到的瓶颈。同时，DBaaS善于处理数据类型多样化的问题，为此类场景提供多种数据库解决方法，定制满足不同处理需求的方案。因此DBaaS能够有效地应对业务和数据量爆炸式增长的挑战。用户可以根据自身需求选择适宜的数据库类型，而无需自行维护复杂的数据库系统。 DBaaS提供方会提供一系列的安全措施，如数据加密、网络防火墙、访问控制、审计日志和数据灾难恢复等。同时，DBaaS服务也会遵守各种数据保护法规，帮助用户满足数据合规性的要求，并确保数据库的高可用性和灾难恢复，DBaaS服务商会提供数据备份和故障转移的机制，确保在出现故障时，数据库可以快速恢复并继续提供服务。因此DBaaS也有助于提升数据安全性和保障数据合规性。 二、行业应用现状 （一）金融行业 金融行业大部分业务是专有云或传统部署形态。使用DBaaS技术有助于此类形态下通过自动化和标准化的管理方式来提高数据库管理效率，节省时间和人力成本，提供高可用和灾备性能， 还可以在数据库发生故障时，自动切换到其他可用的节点，确保业务的连续性。DBaaS无需重新购买硬件设备，就可以提供高度灵活性和可扩展性，并可以根据业务需求，随时增加存储容量、提高性能等，降低了整体的运维成本。 DBaaS可以简化金融行业IT系统的基础架构，方便地从同一个硬件和软件基础设施为不同的用户和多个部门提供数据库能力，同时还能使手工的数据库环境供给、运维等相关流程实现自动化，在极简的IT基础架构下提升业务敏捷性，降低系统风险及成本。DBaaS代表了数据库专业的一种范式转变，即从保持正常运行变为更具价值的调优和开发工作。 目前，金融行业已经逐步尝试应用DBaaS技术，并试图充分发挥DBaaS技术以下几方面的能力。 1.数据库的管理和维护。围绕简化部署和配置、提升自动化维护和监控能力、增强数据库弹性扩展能力和提高资源利用率等方面展开。在数据库全生命周期管理方面，提供全链路自动化管控的能力。 2.自动化维护和监控能力提升。数据库的运行状态直接影响到业务的正常运行，需要实时监控数据库的性能和健康状态，及时发现和解决问题。DBaaS在监控预警的基础上还提供了自动化的维护功能，如自动备份、自动升级和自动故障恢复，大大降低了运维的复杂性和人力成本。 3.数据库的弹性扩展能力优化。金融行业的业务负载通常会 随着市场的变动而波动，如金融市场的开盘时间、年终结算等高峰期。DBaaS的弹性扩展能力可以帮助金融行业应对这种波动性。通过DBaaS，企业可以根据业务需要动态调整数据库的计算和存储资源，以满足业务高峰期的需求，而在非高峰期则可以降低资源配置，节约成本。此外，DBaaS还提供了自动扩展功能，可以根据预设的规则自动增减资源，进一步简化了运维工作。 4.提高业务连续性，降低生产风险。业务中断可能导致巨大的经济损失和信誉风险，DBaaS提供了高可用性和灾难恢复解决方案，如多活多副本、数据复制和快速故障切换，可以最大程度地保证业务的连续性。 5.资源利用率的进一步提高。资源利用率是衡量数据库效率的重要指标。通过DBaaS，企业可以实现数据库资源的精细化管理，如根据业务需要动态分配数据库资源，或者根据实际使用情况调整资源配置。此外，DBaaS的资源池和共享资源技术可以进一步提高资源利用率，实现资源的最大化利用，降低总体拥有成本（TCO）。 目前，金融行业的DBaaS应用尚处于初期阶段。DBaaS技术金融行业应用的实践指引和标准规范有待进一步的积累和完善。 金融行业对技术成熟度和系统稳定性具有很高要求，DBaaS技术的落地需要充分考虑生产系统的安全稳定。DBaaS相对于传统数据库管理模式所带来的成本收益，需要经过生产环境长时间稳定运行的验证，才能在金融行业加快推广。 不同于公有云厂商基础设施环境相对单一，大型金融机构一般使用多款专有云和数据库产品，在网络环境隔离方面也存在诸多要求，需要DBaaS平台具备更强的开放兼容能力，支持跨云、跨数据库产品、跨不同部署架构的统一管理。 （二）互联网及其他行业 2019年，Gartner预测传统的On-Premises数据库市场将进一步萎缩，2022年全球只有5%的新增业务考虑使用传统数据库部署模式。而DBaaS作为一种灵活、高效的数据库解决方案，开始逐步扩大应用范围。数据是核心驱动力，快速、准确且安全地处理和分析数据是业务成功的关键，互联网行业的数据增量最为可观，推动其成为DBaaS应用最为广泛的领域之一。 结合互联网行业DBaaS服务的发展，可以将其演进分为三个阶段：第一阶段，CloudReady，数据库上云，第二阶段，CloudNa