赛迪顾问 思维创造世界 CC出ID法赛创迪顾造问世界 实践参考书 核心数据库升级选型参考 2023年2月 满天星 满天星 目录 满天星 满天星满天星 天星 01.数据库研究背景满天星 01-1.概念界定数据报奢政策专家 满天星 教据报告改策 01-2.市场环境及影响分析 02.调研基础情况分析 02-1.调研对象基本情况 02-2.调研对象升级实践总结 满天星 数据报告政策专 03.核心数据库升级选型现状总结 满天星 03-1.调研对象核心需求案例 03-2.业务升级难点 满天星 数据报告政筑数据报合政策专家 满天星 满天星 目录 满天星 满天星满天星 04.核心数据库选型因素天星 满天 数据报 04-1.数据层面 04-2.功能层面 04-3.效果层面 数排振告政策专满天 满天星 05.厂商分析 满 05-1.数据库厂商匹配度分析 05-2.重点厂商分析 05-3.典型案例分析 数据报告改菜专家 满天星 数据报告政策专家 06.赛迪建议 满天星 06-1.对厂商 06-2.对用户 满天606-3.用户选型指南 数据报告路 数琳报告政策满天星 满天星 满天星数琳报告政策满天星 数据告政家专家 5满天 数据库研究背景 满天 计算机数据库中存放了有组织的、可共享的、统一管理的大量数据,包括文本、图像、声音等,是信息化时代的数据文件柜。数据库和操作系统、中间件一样,属于基础软件的范畴,高度复杂且存在较高的技术壁垒,是应用系统承载数据的基石。基于此,我们给出了数据库的相关研究背景。 满天星 满天01-1.概念界定 满天 满天星 数琳报告致策满天星 数据报合政策专家 第一章数据库研究背景 满天星 概念界定:数据库,信息系统的核心软件数据报告政策专家 1、数据库概述:组织、存储和管理数据的仓库 数据是21世纪的主要生产资料,如何合理地保存和使用数据已成为当代企业面临的难点。在这个数 据爆炸的时代,我们生活在一个无时无刻不在制造着海量的数据的世界。数据作为当今社会新型生产要素对生产效率的提升、社会的发展起着举足轻重的推动作用。当前,数据要素的市场化配置已经上升到了国家战略层面,数据已经成为各行各业乃至国家的战略资源。 然而,大量的数据资源却没有得到有效的保护和利用,这与它的战略位置相矛盾。企业的各类数据中,只有不到半数被有效地使用,造成了大量的用户和运营数据的浪费。由于成本的控制、分析工具功能的限制,以及存储系统结构的落后,使得企业对数据库的需求越来越大。 图1-1大量数据资源被浪费,数据库势在必行 满天天星 一部分存储数据 仅一半可被有效利用 满天星 的经营数据被 有效捕捉、储存另一部分的数据 没有被有效利用 另一半数据报善政策专家 的经营数据 没有被有效捕捉、保存 资料来源:赛迪顾问整理 数据库(DB)是数据存储的载体,是信息系统的核心,数据的存储也是数据能够有效利用的前提。数据库当中,存放了大量可共享、有一定组织、可统一管理的大量数据,并且配合高级语言来处理数据。 数据库管理系统(DBMS)是管理和组织计算机中存储的数据的计算机软件,是数据从现实世界映 射到逻辑与物理交织的计算机世界的桥梁。数据库管理系统是一种操纵和管理数据库的大型软件,用于 建立、使用和维护数据库。它对数据库进行统一的管理和控制,以保证数据库的安全性和完整性。 图1-2|数据库是交互的关键 用户 罪Do 星 数据库 数据库管理系统 搭读写 建取入 8 应用软件 用户 维管 理 修改护 资料来源:赛迪顾问整理 5 第一章数据库研究背景 2、数据库分类:需求升级与技术选代驱动,数据库品类多元化发展 满天星 按数据存储方式分类:关系型数据库和非关系型数据库 关系型数据库:又称SQL数据库,是利用简单的二元关系模型来组织数据的数据库。在关系型数据库中,为了方便使用者的了解,数据以行列的形式储存起来,数据的处理基本都是基于一张或者多张表格,通过对这些关联的表格分类、合并、连接或选取等操作,来实现数据库的管理。当前常用的数据库Oracle 和MySQL等,都是关系型数据库。 非关系型数据库:又称NoSQL数据库。NoSQL不再局限于SQL的二元模型,可以很好地弥补传统的关联数据库。 表1-1|关系型数据库和非关系型数据库对比 类型关系型数据库非关系型数据库 1、容易理解:关系模型相对网状、层次等其他模型来说更1、无需经过SQL层的解析,读写性能很高;2、数 优点 容易理解;2、使用方便:关系型数据库使用SQL语言非常据容易扩展;3、存储数据的格式多样化:存储格式 方便;3、易于维护:丰富的完整性减低了数据穴余和数据是K-V形式、文档形式、图片形式等等,而关系型数 两大 不一致的概率。居库则只支持基础类型 缺点1、处理高并发读写性能较差;2、表结构较为固定,不便于更改扩展; 1.不提供SQL支持;2.一般来说无事务处理 代表产品Oracle、MySQLMemcached、Cassandra 资料来源:赛迪顾问整理 >按应用类型分类:OLTP和OLAP OLTP(On-LineTransactionProcessing,事务型数据库,又称联机事务处理):基本特点是接收到 用户资料后能够即时传输至计算中心进行处理,并能在较短的时间内得到相应的处理结果,是对使用者的操作作出迅速反应的一种方法。随着企业信息系统中的海量业务数据的不断涌现,越来越需要从各种数据中抽取有助于企业进行决策分析的信息。 OLAP(On-LineAnalysisProcessing,分析型数据库,又称联机分析处理):主要是对长期数据的 满大宝 规则趋势进行分析,更多用于决策。事务型数据库的优点是对实时的在线业务进行处理,而分析型数据库 的优点是对复杂的分析运算和对决策的支持。 表1-2|OLTP和OLAP对比 类型 本质 OLTP 在线交易 OLAP 在线检索与分析 数据处理操作 对数据库直接进行修改 对数据记录进行选择 数据表 标准化 未标准化 数据源 当前的、细节的、二维的 聚集的、统一的 数据量大小 小,简单 大,复杂 存储方式储存在数据库管理系统储存在数据仓库 特点针对一线业务人员针对企业管理人员 资料来源:赛迪顾问整理 6 第一章数据库研究背景 》按技术架构分类:集中式数据库和分布式数据库 满天星 集中式数据库:由一个处理器、与它相关联的数据存储设备以及其他外围设备组成,将数据集中 在一台机器上进行处理,是被物理地定义到单个位置的数据库软件。 分布式数据库:通过中小型机联接,实现与集中式数据库同等性能的数据库软件。 表1-3|集中式数据库和分布式数据库对比 类型集中式数据库分布式数据库 满天星 1、较高的安全性和稳定性:数据存储在中央计1、满足数据量、计算量大的需求:只需布置足算机上,对中央计算机做好保护措施以及数据够多的计算机,便能储存足够多的数据。相比传备份工作,即可保证较高的安全性和稳定性,统集中式数据库可以更加方便地储存更多的数据, 适合存储重要的核心数据;做更大量的数据计算; 优点 运算开销和通信开销小:服务器结构部署简2、读取数据和运算的速度更快:可并发读取数 据,可并行运算,因此读取数据和运算速度都会 小;比集中式数据库更快; 3、产品商品化程度高:现有的集中式数据库产3、灵活、可扩展性好:可以方便地添加新机器品大都经过了市场的考验,稳定可靠,商品化对系统进行扩充,而集中式数据库则没有如此便程度高,相应的公司服务能力成熟,便捷安全。捷的可扩展性。 缺点1、存储空间有限;2、响应速度较慢; 1、稳定性、安全性、保密性不如传统集中式数据库;2、分布式事务的代价较高; 3、灵活性差3、管理复杂 代表产品/厂商Oracle、DB2、武汉达梦、人大金仓OceanBaseGoogleSpanner 资料来源:赛迪顾问整理 3、数据库发展历程:渐进创新、砥砺前行 从时间维度来看,数据库演进历程大致可以分为三个阶段: 满天星 前关系型时代(1960-1970):以大型机为主,主要以集中式的层次或网状数据库为主; 关系型时代(1970-2008):关系模型出现,企业需要处理结构化数据,20世纪90年代自由软 件思潮后,开源数据库出现; 后关系型时代(2008至今):开源、非关系型数据快速崛起,云计算技术引领云数据库发展。 满天 图1-4|数据库的发展历程 ~19701970s1980s1990s2000s2010至今 数据类型 层状、 关系型涌现大量NewSQL, 负载类型硬件架构 是否开源 网状数据库NoSQL多模 OLTP/OLAPOLAP技术OLAP分析HTAP、数 (OLTP需求为主)独立快速发展据湖 集中式分布式分布式架构逐渐成为主流,从中间式解决方案 小型机/大型机出现向原生分布式变迁 否,起初软件与硬件捆绑销售,出现关系是,开源模式 后来Oracle和微软采取只卖软件的销售模式型开源成为主流 是否上云 否,是,云数据库 大部分采用本地部署逐渐成为主流 代表厂商/IBMIBM微软SAPMySQLMongoDBOceanBase 产品独占整头OracleTeradataPostgreSQLdoopenAWS 资料来源:赛迪顾问整理 7 第一章数据库研究背景 *满天星 金融、政务、公共事业、制造、医疗等下游产业对价值的贡献很大。在中国,金融领域一直是 最大的数据库和大数据应用领域。由于监管环境、数据业务的复杂性、核心业务数据类型、成本敏 感性和技术储备等因素存在差异,下游产业的需求和选择需求也不尽相同。 图1-5|不同行业数据库选型需求总结 自研开发4技术选型国产 多互联网巨头大型金融、政企高 阿里、腾讯、美团、滴滴..国有银行、电信运营商、地方政府 本身云计算供应、数据提供系统复杂、迁移难度大 高速响应关注技术实力、最大程度降低风险 公有/私有云私有云 运维人员数据合规 互联网创业公司…公有云公有/私有云商业地产场景…要求 无运维团队外部采购SaaS 节约前期成本,快速扩张业务天星 满天星 第三产业创业公司传统创业公司4 少低 资料来源:赛迪顾问整理 2015年起,数据库、大数据基础产业愈发受到国家重视,相关政策密集发布。2021年11月底工 信部印发的《“十四五”软件和信息技术服务业发展规划》中确定“关键基础软件补短板”是八大专项行动之一,提出须聚力攻坚基础软件,对数据库进行补强;《“十四五”大数据产业发展规划》则提出“到2025年,大数据产业测算规模突破3万亿元”的目标,并明确夯实基础、打造生态等六 大主要任务。 表1-6政策持续加码,为数据库发展保驾护航 发策主体政策名称颁布时间相关内容 中国人民银行、国 家市场监管总局、《金融标准化“十四五” 中国银保监会、中发展规划》 国证监会 中国银保监会办公《关于银行业保险业数字 厅化转型的指导意见》 工信部 《“十四五”软件和信息技术服务业发展规划》 2022.2 2022.1 2021.11 制定大数据、云计算等技术在实时监管数据采集、计算、分析中的应用标准,支持提升对市场风险的监测和异常交易行为的识别能力 加快数据库、中间件等通用软件技术服务能力建设,支持大规模企业级 技术应用 突破全内存高速数据引擎、高可靠数据存储引擎、分布式数据处理与任 务调度架构、大规模并行图数据处理等关键技术。 国家发改委、科技《关于扩大战略性新兴产 部、工信部、财政 业投资培育壮大新增长点 2020.9 加快新一代信息技术产业提质增效 部增长极的指导意见》 中共中央办公厅、《国家信息化发展战略纲 国务院办公厅要》 资料来源:赛迪顾问整理 2016.7 加快推进基于信息化、数字化、智能化的新型城市基础设施建设 制定国家信息领域核心技术设备发展战略纲要,以体系化思维弥补单点 弱势,打造国际先进、安全可控的核心技术体系, 9 满天星 满天星数琳报告政策满天星 数摄告政家专家 天星 满天调研基础情况分析 满天星 本次研究中,我们于2022年7月,针对多行业数据 库部署现状、未来部署计划及