大数据云原生技术发展研究报告（2023年）

ACIA 先进计算产业发展联盟 dComputingIndustryAllianct 大数据云原生技术发展研究报告 (2023年） 先进计算产业发展联盟 2023年12月 研究报告要点 随着行业的快速发展，数据量也呈爆炸式增长，大数据已成为决 策的基本工具，企业面临着数据管理和处理的巨大挑战。围绕Hadoop 的传统大数据架构在交付运维，资源利用率，系统送代与兼容性，安全等方面存在诸多不足。 随着以Kubernetes为代表的云原生概念的兴起，越来越多的企业 投身于云原生转型的浪潮，以解决传统应用面临的弹性能力不足、资源利用率较低、送代周期较长等问题。当前云原生的发展已比较成熟，成为数字化转型的重要支撑技术。 大数据和云原生技术的融合，逐渐成为企业数字化转型的重要演进方向，目前还处于高速发展，百家争鸣的阶段，一些企业已经在大 数据云原生之路上砺前行，而国内大部分企业依然处于观望状态。 同时可以看到，业界在大数据与云原生结合的定义和方向上，有一些不同的声音，不同企业融合的方式也有所不同。大数据和云计算要不要融合？如何融合？都是人们所关心的话题。 带着这个问题，我们希望基于之前积累的经验，结合工作中的痛 点，调研并产出一份尽量中立、客观、完整的大数据云原生技术发展报告，希望能为相关企业、研发团队和需要大数据的客户提供参考。也希望能抛砖引玉，吸引更多企业专家的参与，引发后面更专业，更大范国有关大数据云原生技术的讨论，最终能促进一些共识，提升大 - 数据云原生的技术普惠，“旧时主谢堂前燕，飞入寻常百姓家”，为国家数字化转型，做一点贡献。 本报告将从以下几个方向来闸述： 1.大数据与云原生技术的发展与演进：介绍大数据技术的演进，云原生技术的发展，以及它们融合的情况。 2.传统大数据平台的痛点：探讨传统大数据平台交付运维成本高、资 源利用低效、送代兼容性及安全性间题等关键痛点。3.云原生技术解决思路：详细说明云原生技术解决这些关键痛点的 思路，以及云原生技术带来的其它好处和引入的新挑战。 4.大数据云原生技术架构简述：简述大数据云原生技术的设计思路和参考架构，包括弹性伸缩、资源隔离、容器化、统一资源调度、多计算引擎管理、统一数据湖管理以及智能化运维等方面。 5.大数据云原生的未来发展和建议：最后简单提出对大数据云原生技术未来发展和建议，以提升大数据云原生的技术普惠。 由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位 读者批评指正，意见及建议请发送至wangxiaogang@chinatelecom.cn。 = Allian 先进计算 研究单位：天翼云科技有限公司 课题负责人：王小刚 课题参加人：侯圣文，张桐，李冰，金喆，李启蒙，黄俊慧，李庆森 完成日期：2023年12月 II 目 、大数据平台与云原生技术的发展与演进 （一）数据平台的发展与演进 1 （二）云原生技术简述 9 （三）大数据与云原生结合分析 12 二、传统大数据平台的需求与痛点 15 （一）交付运维成本高 16 （二）资源利用率低 17 （三）系统选代与兼容性挑战： 18 （四）安全相关挑战： 19 三、云原生技术解决大数据问题的思路 20 （一）云原生技术提升运维交付质量与效率（二）云原生技术提升集群资源使用率和弹性 ..20 22 （三）云原生技术提升大数据平台选代效率， .26 （四）云原生技术提升大数据安全和隐私保护 27 （五）云原生技术带来的其它好处.： ...31 （六）大数据云原生引入的新挑战.35 四、大数据云原生技术的架构简述40 IV （一）云原生大数据平台的架构原则， （二）云原生大数据平台的参考架构， 五、大数据云原生的未来发展和战略建议44 （一）技术发展方向：44 （二）针对行业的建议44 ACI （三）针对企业和用户的建议，45 六、参考文献 ry ed 一、大数据平台与云原生技术的发展与演进 （一）数据平台的发展与演进 需求催生技术革新，在海量数据需求的推动下，数据平台架构持续演进，经过数十年的发展，历经了数据库、数据仓库、数据湖、湖仓一体等概念。这里按出现顺序简述：（其中关于数据湖和湖仓一体目前业界有多种不同的定义，这里我们采用其中一种定义说明） 丝20 数m据仓库数据湖 关系型数据库 数据库数据仓库数据动 来源：CCSATC601大数据技术标准推进委员会 图1：数据分析技术演进图 数据库（DataBase）： 自1980年代初至中期起，数据管理工具主要呈现为数据库形式， 以面向事务交易的OLTP场景为主，数据分析功能则作为辅助。这些数据库主要用于向管理层提供固定报表，支持宏观管理决策。它们通 过标准SQL提供数据分析能力，主要代表产品包括Oracle、SqlServer、 Mysql等。 - 以前：提升单机性能：IBM小型机、EMC企业级存储、Oracle企业级数据库 TBM ORACLE 没有专门面向数据分析 数据库 用户程序场景的产品。当时还是 以面向事务交易场景为 (计算系统） 文件系统EMC 图2早期数据库阶段系统架构 数据仓库（DataWarehouse） 主，数据分析仅作为附 带提供的场最， 随着互联网的快速普及，门户、搜索引擎、百科等应用快速增长，数据量呈爆发式增长，原有的单个关系型数据库架构无法支撑庞大的数据量。20世纪90年代数据仓库理论被提出，核心是基于OLTP系 统的数据源，根据联机分析处理OLAP场景诉求，将数据经过数仓建 模形成ODS、DWD、DWS、DM等不同数据层，每层都需要进行清 洗、加工、整合等数据开发（ETL）工作，并最终加载到关系型数据 库中。 数据源数据消费者 OLTP数据库OLTP数据库 第三方数据共享数据 ETL第三方数据 Web/日志传统数据提取 企业数据仓库 lOT数据集市Web/日志 来源：云原生产业联盟 2 图3：OLAP系统建设 数据仓库架构是为了解决单个关系型数据库架构无法支撑庞大 数据量的数据存储分析问题。传统数据仓库多为MPP(Massively ParallelProcessor)架构，代表产品有Teradata、Greenplum等，当前 MPP架构依然为新型数仓的重要选择，比如ClickHouse，Doris， StarRocks等。 随着Hadoop技术的成熟与普及，基于Hadoop自建离线数据仓 库(Hive)是常见的大数据平台之上数据仓库方案，在目前依然发挥着重要的作用。 数据湖（DataLake） 随着移动互联网的飞速发展，半结构化、非结构化数据的存储、计算需求日益突出，对数据平台提出了新的要求。 以开源Hadoop体系为代表的开放式HDFS存储（或S3）、开放的文件格式、开放的元数据服务（HiveMetastore等）以及多种引擎（Hive、Spark、Flink、Presto等）协同工作的模式，形成了数据湖的雏形。 dvar 分布式日惠收集系换 Flume 数据迁移 分布式消息系统数据格式转化工具 Kafkadoobs集群管理与调度 数据存储与管理分布式资源管理器 分布式文件系统分布式别列存数报库关系式放据库数据仓库（数报查询）群YARN HDFSHBaseMySQLHive管集群协调 数据计算 分布式计韩分布式卖时计算系糖分布式协调系院 MapReduce Storm Zookeeper 送用大致强快速处理引分布式就流一体计算租架 SparkFlink 数据分析、挖掘、查淘 通用大数照快速处理引掌分布式批滤一体计算程架 数据仓库（数据查询） Spark Flink Hive 来源：云原生产业联盟 图4：Hadoop生态系统重要组件 2010年，数据湖概念被提出，数据湖是一种支持结构化、半结构化、非结构化等数据类型大规模存储和计算的系统架构。数据湖与数据仓库的主要区别在于数据仓库中数据在进入仓库之前是需要实现归类，而数据湖是把大量原始数据通过廉价存储保存下来。数据湖架构的特点可总结为：低成本、原始数据、需灵活使用、面向任务数据绑定、不提前定义数据模型。 ed 表1数据湖与数据仓库对比表 差异项数据湖数据仓库 数据类型所有数据类型历史的、结构化的数据 Schema读取型Schema写入型Schema 处理结构化数据，转化为多维数 计算能力 成本 数据可靠性 支持多计算引擎用于处理、分 析所有类型数据 存储计算成本低，使用运维成 本高 数据质量一般，容易形成数据 沼泽 据、报表，以满足后续高级报表及数据分析需求 存储计算绑定、不够灵活、成本高 高质量、高可靠性、事务隔高性好 扩展性高扩展性扩展性一般，扩展成本高 一种解决方案，配合系列工具 产品形态一般是标准化的产品 实现业务需求，灵活性更高 实现数据的集中式管理，能够存储和维护长期数据，数据可按需 潜力 为企业挖掘新的运营需求访间 来源：CCSATC601 从解决场景的角度来看，数据仓库和数据湖各有其适合覆盖场景，基本上属于互补关系，前者更多是解决固定的、明确的数据问题：后者则为应对随机性、探索式的数据问题。下图是一个示意图。 Expanding derstandingInnDovata andloration AndInvestigating Unknown TraditionalData Warehouse QUESTIONS FoundationalEstablishing CoreValue Known KnownUnknown DATA 图5：数据仓库和数据湖的场景 来源：Gartner 湖仓一体（LakeHouse）： 为满足多种数据类型存储、多场景分析等业务诉求，企业的数据采用混合部署模式，其中数据湖和数据仓库通过ETL进行数据交换，数据湖和数据仓库是两套独立的体系。 企业应用分析（查询、统计、数据分析等） 数据仓库-MPP数仓数据湖-Hadoop 据 i数(OLAP) 平关系型数库 Presto (OLTP) 元数据数据集市HiveSpark SQL优化资源管理HDFS 大表关联并行加载 数据源（结构化、半结构化、非结构化） 图6：湖+仓混合架构图 来源：CCSATC601 “数据湖+数据仓库”混合架构满足了结构化、半结构化、非结构化数据高效处理需求，解决了传统数据仓库在海量数据下加载慢、数据查询效率低、难以融合多种异构数据源进行分析的问题，但混合架构是技术向业务妥协的一个产物，存在数据余，增加存储成本，两个系统间额外的ETL流程导致时效性差，数据一致性保障低，混 合架构开发运维复杂等弊端。 2020年Databricks提出“湖仓一体”的概念，到目前技术和概念 侧依然在持续演进。湖仓一体是指融合数据湖与数据仓库的优势，形成一体化、开放式数据处理平台的技术。通过湖仓一体技术，可使得数据处理平台底层支持多数据类型统一存储，实现数据在数据湖、数据仓库之间无缝调度和管理，并使得上层通过统一接口进行访问查询 和分析。总的来看，湖仓一体通过引入数据仓库治理能力，既可以很好解决数据湖建设带来的数据治理难问题，也能更好挖掘数据湖中的数据价值，将高效建仓和灵活建湖两大优势融合在一起，提升了数据管理效率和灵活性。 湖仓一体目前没有统一的架构，在企业需求的驱动下，各开源技术和厂商基于原有架构演进，数据湖与数据仓库在原本的范式之上扩 如图7和表2所示。湖上建仓和仓外挂湖虽然出发点不同，但最终湖 仓一体的目标一致。 优势支持海 劣势 不支持高并 需解决的问题1.统一元数据管理 实现方向1.提升查 高线批 发数据集市、即席查 2.ACID 3.查询性能提升 询引擎、存储引擎 处理 询、事务 4.存储兼性问题 能力 致性等 5.存算分离6.弹性伸缩 实现路径湖上建仓 （Hadoop体系） 表2两种实现路径对比表 仓外挂湖事务一不支持非结1.统一元数据管理1.计算引 (MPP体系）致性，结构化/半结构2.存储开放性擎不变，构化数化数据存3.扩展查询引擎只扩存储据OLAP储。机器学4.存算分离能力. 分析