浙江电信Apache Doris实战之路

浙江电信 Apache Doris 实战之路

大数据建设历程

浙江电信大数据平台经历了多个阶段的演进：

1. 2004年：基于 Teradata 建设数据仓库与数据集市，规模20台，存储400TB。
2. 2016年：构建数据中台能力，规模20+台。
3. 2021年：深化湖仓一体/流批一体架构，基于 Doris 构建查询库、BSS 运维库，Doris 节点达80台。
4. 2022年：实时经分和网络大数据集群，基于 CDH 构建，规模700+台，存储20PB。
5. 2023年至今：基于电信自研PaaS翼MR/TDP+Iceberg+Doris 新建湖仓一体架构，规模640+台，逐步转型为自有人员为主。

Apache Doris 实践

实时数仓上线

• 2023年11月：首次生产尝试，使用2.0.1版本，主要问题包括与 BI 和数据中台适配性、报表性能、数据丢失等。
• 2024年1月-2月：迭代到2.0.3版本，解决部分问题。
• 2024年2月：更新到2.0.4版本，稳定运行，解决 jvm 溢出问题。
• 2024年2月至今：持续优化，解决数据写 Iceberg、SQL 内存溢出、Catalog 访问 Iceberg 等问题，2.1.x 版本性能提升30-50%，稳定性提升超30%。

查询集市库上线

• 2024年7月9日：使用2.1.2版本，主要问题包括审计插件引起 FE 节点 jvm 异常、跨源 Catalog 访问时区问题等。
• 2024年8月8日：补丁包更新，初步解决时区问题。
• 2024年8月9日至今：使用2.1.5版本，解决 proxysql 负载均衡、FE 节点元数据同步异常等问题。

改造实施

• Impala/Oracle/Vertica 改造：Doris 2.0 数据数仓改造完成，实时类任务效率提升3-5倍。
• 性能提升：Doris 2.0.4到2.1.2平均任务效率提升30%，2.1.2到2.1.5稳定性提升超30%，性能下降5%-10%。

湖仓一体实践

实践经历

1. 湖仓组件选型：选择 Hudi、Iceberg、Delta Lake 作为数据湖组件，应用场景和计算引擎选择 Spark/Flink，MPP 引擎 Doris/Clickhouse 等。
2. Doris & Iceberg：Doris 对 Iceberg v2表读写能力的需求和迭代，跨源访问能力需求。
3. 湖仓一体架构介绍：基于 FlinkCDC 自研实时入湖平台，数据统一写入 Iceberg，Doris 预处理 compaction 问题，实时数仓汇聚、生产加工和应用采用 Doris 完成。

湖仓核心组件

• 架构：由 HA3+Iceberg+Amoro+Spark/Flink+Doris 为主，ETL 湖仓一体（翼MR）。
• 业务系统：原有的报表库、运维库从 Oracle、PG、ES 逐步改造到 Doris。
• 资源调度：探索和应用容器化弹性资源调度（目前针对 Spark & Flink，Doris 在探讨中）。
• 实时湖仓能力：探索 Paimon 是否解决 Iceberg 实时湖仓能力不足的问题（目前还在验证）。

后续规划探讨

• 资源隔离：利用现有资源隔离能力，深度探索存算分离，子集群划分达成资源隔离。
• 存算分离：对规划中未完成改造的部分完成改造，跨源访问优化等，同步协同天翼云和社区逐步进行 Doris 迭代优化改造。
• 异构化、半结构化数据支持：探索异构化、半结构化数据的能力，优化当前架构，压降运营成本。