分布式数据库发展趋势研究报告

分布式数据库发展趋势研究报告 国家工业信息安全发展研究中心 01分布式数据库发展现状 基础软件创新发展论坛 02分布式数据库的发展趋势 03分布式数据库发展面临的挑战 04分布式数据库的发展建议 05国家数据库适配验证中心 基础软件创新发展论坛 数据库产业发展背景 “加快培育数据要素市场”，“推进政府数据开放共享”，“提升社会数据资源价值”，“加强数据资源整合和安全保护” ——《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》 •移动支付、大数据带来的数据体量增长、数据形态变化，要求底层数据库处理能力迭代升级，新架构、新技术需要新的生态力量 数据需求鼓励升级 •我国庞大的人口基数导致信息终端规模和数据体量在全绝对领先，提供数据库发展沃土 •国内电子商务的高覆盖率导致我国金融机构信息系统面临世界级压力，供给了数据库提升化肥 独有场景倒逼创新 •各监管机构、政策制定方均重点布局针对数据库分布式转型、应用创新战略 •重点行业用户逐步增强数据库应用创新意识，防范潜在安全风险 政策引领推动发展 政策引领，分布式数据库产业规模持续壮大 基础软件创新发展论坛 基础软件创新发展论坛 在数据储量高速增长的情况下，用户选择呈现出从集中式数据库向分布式数据库转移的趋势。 全球大数据储量急剧增长 传统数据库的性能瓶颈凸显 集中式数据库分布式数据库 01面对数据量的大幅增长，性能瓶颈凸显； 分析能力缺失，通常需构建独立 02分析系统，数据容易存在冗余和 获取延时； 03水平扩展较难，规划时通常按最大容量设计，相对成本较高。 可水平扩展解决性能问题； 混合负载能力可大幅度提升分析时效性，并减少数据冗余； 架构支持灵活扩展，相对成本较低。 分布式中间件+单机数据库 分布式数据库的分类 在单机数据库系统上进行改造，主要解决了扩展性的问题。 基础软件创新发展论坛 原生分布式数据库 优势 •a.兼容性好，学习成本低； 劣势 •b.资源投入足够大时，节点可以扩展到很大规模。 •业务代码修改成本高； •下层计算节点无法按需扩展； •全局事务能力、高可用等方面有短板； 非对称计算节点+分布式存储 •复杂度高，机器冗余多。 优势 数据一致性依赖分布式存储引擎，实现写能力的高可用。 •兼容性好,应用无需改造； •共享存储中一致性好，产品整合度较高。 劣势 •扩展性有限，数据处理规模较高时，需分库处理； •难以做到跨地域高可用； •对高性能基础设施底座有较大依赖。 架构设计是按照分布式一致性协议做底层设计，一致性、 全局MVCC、高可用等支持更好。 优势 •可按需扩展，没有数量和规模限制； •数据一致性的安全保护机制更好； •支持跨地域的访问和容灾； •硬件依赖少，可灵活进行混合云和多云部署； •硬件利用率高，可以通过普通PC服务器实现集群和高可用。 劣势 •产品成熟度仍需时间沉淀； •上下游生态适配还需进一步完善。 基础软件创新发展论坛 分布式数据库的应用场景 分布式数据库的应用越来越广泛，在金融、电信、交通、教育、能源等众多行业领域均有应用。 金融能源电信 云环境 加油卡场景 计费场景 01分布式数据库的分类 基础软件创新发展论坛 02分布式数据库的发展趋势 03分布式数据库发展面临的挑战 04分布式数据库的发展建议 05国家数据库适配验证中心 分布式数据库的发展趋势 基础软件创新发展论坛 1、分布式数据库走向原生设计 原生分布式的技术路线将是产业趋势，具有无限扩展以提升数据库集群性能、支持跨地域的访问和容灾等优势。 如电信应用场景中，应对5G时代高并发量带来的容量不足问题，可使用原生分布式数据库整合过去的分散业务系统，通 过多机房部署实现高可用和容灾，通过数据高压缩比等技术提升事务处理效率，并结合原生分布式数据库可使用普通服1 务器的方式节约硬件采购成本。 2、软硬协同为应用提供更好的性能升级 新型硬件、多种负载兼容能力、高可用、多租户管理等与分布式数据库的结合，将推动一体化解决方案的性能升级。 如保险应用场景中，当集中式共享架构、集中式集群因数量过多存在扩展和运维瓶颈时，可采用分布式数据库对原有数据 库进行改造，进行两地双机房、同城三副本、多租户等方式部署，既提升系统性能，也以兼容性保障系统的回切能力。2 3、新一代信息技术与分布式数据库持续加强融合 大数据、人工智能、区块链等新一代信息技术的发展给分布式数据库也带来了新的技术机遇，数据分片的智能 化、技术架构与区块链技术的融合等，都在不断提出新的解决方案。3 分布式数据库的发展趋势 基础软件创新发展论坛 4、分布式数据库的场景将向云化发展 将传统部署和公有云资源结合，解决私有部署灵活度低，成本过高的问题。如在保险场景中，面对2C业务交易 量可能的爆发式增长，可以在公有云上基于数据库快速搭建完整分布式架构，降低私有云的交付运维成本。4 多云支持具备快速部署、快速销毁、前期投入低等特点。同时，利用公有云资源低成本实现容灾和算力扩展。 5、分布式数据库的应用安全性引发重视 通过混合负载、支持异构芯片混合部署等技术方式，加强数据库的应用安全性。在面临安全风险时，选择安全性更高的芯片，保障业务连续性。 如能源场景中，加油卡系统即可通过一套分布式数据库实现交易与管理的分离。 如在银行等重要部门中，可通过分布式数据库搭建多地多中心的分布式集群，以多副本+主备模式提升高可用 水平，提供坚实的连续性保障。5 01分布式数据库的分类 基础软件创新发展论坛 02分布式数据库的发展趋势 03分布式数据库发展面临的挑战 04分布式数据库的发展建议 05国家数据库适配验证中心 基础软件创新发展论坛 分布式数据库发展面临的挑战 1、数据迁移对分布式数据库的兼容性提出新目标 •当前数据库技术路线较多，架构差异大，因而在进行数据迁移过程中，要求分布式数据库对原有数据库都能够很好的支持。 2、数据增长对分布式数据库存储技术带来新挑战 •行业应用场景中数据量的快速增长对分布式数据库的存储技术也带来了新的挑战。 •如数据存储单实例容量过大时，也会影响分布式数据库的性能。需要通过数据压缩、HTAP数据混合处理的等技术辅以解决。 3、安全合规对分布式数据库的安全性提出新要求 •在个保法等法律的规范下，数据库作为数据媒介需加强对数据安全技术的支持。如加强对透明传输加密技术的支持。 •同时，需进一步加强细分行业标准的建设。规范数据产品的应用。 1 2 3 基础软件创新发展论坛 分布式数据库发展面临的挑战 4、应用场景多样化要求分布式数据库有更强的适应能力 •应用场景的多样化对数据库的实际应用能力提出新要求，同时也需克服实验室场景和实际应用场景之间的性能差异。 •加强多维度测评体系建设有利于推进数据库整体性能的提升。 5、分布式数据库的生态建设亟需推动 •生态建设亟需推动，包括与上游ISV共建行业解决方案、积极参与国家行业标准制定、与高校深入合作培养更多的基础软件人才等。 •开源是基础软件的必经之路。 4 5 基础软件创新发展论坛 01分布式数据库的分类 02分布式数据库的发展趋势 03分布式数据库发展面临的挑战 04分布式数据库的发展建议 05国家数据库适配验证中心 分布式数据库发展建议 基础软件创新发展论坛 推政策，加强顶层设计引导，提升产品的成熟度 1 补短板，聚集技术研发力量，推动标准体系建设 2 锻长板，依托应用丰富生态，打造自主技术体系 3 重测评，建立专用测评体系，提高产品质量水平 4 促开源，借助开源生态力量，优化国际合作形势 5 基础软件创新发展论坛 01分布式数据库的分类 02分布式数据库的发展趋势 03分布式数据库发展面临的挑战 04分布式数据库的发展建议 05国家数据库适配验证中心 基础软件创新发展论坛 国家数据库适配验证中心 通过搭建覆盖主流技术路线体系的适配验证环境，建立“一地多中心”的运行模式，协力推进数据库上下游产品适配验证。重点聚焦党政、金融、电信、电力等领域，以应用为牵引带动国产数据库性能提升，培育国产数据库产业生态。 总体目标： 搭建覆盖主流技术路线的数据库适配验证环境，构建测试验证平台； 建立数据库适配行业标准规范体系及四个行业的数据库适配标准规划； 建立覆盖金融、电信、电力等行业核心场景的数据库适配验证仿真平台和案例库； 建立支撑数据库适配产业发展的知识库和公共服务平台； 建立数据库适配验证的服务中心。 谢谢!