CDW PG 数据仓库技术架构概述
1. 背景介绍
- 负责人: 张倩，腾讯云数据库专家工程师，中国人民大学博士，曾任职于Teradata天睿公司和华为公司。
- 主要职责: 负责CDW PG数据仓库内核优化器、执行器等多项核心功能的研发。
2. 架构演进
- 发展历程: CDW PG基于PostgreSQL自主研发，具有分布式在线关系型数据仓库的特点。
- 整体架构:
- 协调节点(CN): 业务访问入口，提供一致视图。
- 事务管理器(GTM): 管理全局事务和对象。
- 数据节点(DN): 存储业务数据。
- 数据转发节点(FN): 支持节点间数据交互。
- 查询计划分片: 优化器生成最优执行计划，并递归遍历执行计划，通过FN进行数据交互。
3. 执行引擎能力提升
- 并行计算: 支持节点级并行、进程级并行和SIMD指令级并行。
- 向量化执行引擎: 提高指令和数据的缓存命中率，提升CPU执行效率。
- 自动调优: 通过Plan Hint自动调整查询执行计划，优化资源分配。
4. 列式存储优化
- 透明压缩算法: 包括Zstd、Lz4、Delta、RLE和Dictionary等多种压缩方法。
- 列存优化: 支持列式存储和行列混合存储，通过自动Stash Merge优化数据管理。
- 列存索引: 支持Hash索引和B-Tree索引，提高查询效率。
5. 其他关键技术
- 分布式延迟物化技术: 提升大规模集群的处理能力。
- 资源管理: 实现多资源组的统一管理和优化。
- 数据导入导出: 提供高效的数据导入导出工具，支持并行多任务处理。
6. 后续规划
- 持续融合PG社区能力: 加强与开源社区的合作。
- Oracle兼容: 不断提升Oracle兼容能力。
- 生态对接: 支持大数据生态和机器学习算法。
通过上述架构和技术优化，CDW PG实现了高性能、高可用的大规模在线数仓解决方案。
