1-3 Apache Doris存储层向量化改造设计与实现

Apache Doris存储层向量化改造设计与实现

1. Apache Doris引擎介绍

• OLAP数据库：支持离线和实时场景的数据分析，使用SQL语言。
• 向量化编程：利用计算机提供的SIMD指令和SIMD寄存器，实现批量计算。

2. Apache Doris存储层概览

• 磁盘数据处理：数据存储经过压缩，在磁盘上进行解压和归并排序。
• 主键更新：通过文件合并实现数据更新。
• 数据流：从磁盘读取数据，通过缓存读取加速，进行谓词下推优化。

3. Apache Doris存储层向量化改造

• 改造目标：优化数据读取、谓词下推、数据输出和数据归并。
• 具体措施：
  • 梳理代码：识别可向量化代码。
  • 向量化改造：使用SIMD指令替换原有逻辑。
  • 优化无法向量化部分：考虑其他优化方法。

4. 性能优化技术

• 定长与变长类型：
  • 定长类型：基本类型，支持批量处理。
  • 变长类型：如字符串，不支持批量处理，需要额外优化。
• 谓词下推：延迟物化以减少seek次数。
• 延迟物化：基于代价评估选择是否延迟物化。

5. 性能测试结果

• 定长类型：存储层性能提升60%，SQL提升50%。
• 变长类型：存储层性能提升50%，SQL提升30%-40%。

6. 总结

• 性能优化策略：
  • 理解代码和计算机行为。
  • 使用性能工具。
• 社区参与：加入Apache Doris社区，贡献代码和测试。