行业研究公司研究宏观策略财报招股书会议纪要海南封关低空经济 DeepSeek AIGC 大模型

Doris 新优化器背后的故事

电子设备2023-08-09DataFunSummit2023：OLAP引擎架构峰会徐***

AI智能总结

Doris 优化器重构与性能提升

01 重塑：Nereids 新一代优化器

问题：现有 Doris 优化器存在规则抽象不足、缺乏 CBO 框架、树遍历限制等缺陷，导致规则控制困难、统计信息推导能力弱、无法处理循环依赖等复杂场景。
解决方案：引入 Nereids 优化器，采用统一的视角重新理解优化规则，并实现以下突破：
- 规则抽象：提供更灵活的规则控制，降低调优成本，并支持查看规则优化后的执行计划。
- CBO 框架：建立统计信息收集框架，增强代价模型推导能力，实现更智能的 CBO。
- 树遍历优化：支持多轮遍历，解决循环依赖问题，并允许修改底层节点。
成果：Nereids 在 SSB、TPCH 500G/1T 测试中超越人工改写 SQL，用户 POC 测评性能显著提升。

02 优化的本质

SQL 的本质：描述性语言，通过优化实现高效执行。
SQL 的旅程：从用户输入到最终执行计划的过程。
优化的定义：通过特定策略提升查询性能。
优化举例：
- 尽早降低数据规模：如中美贸易详情（TPC-H q7）通过过滤减少数据量。
- Join reorder：通过动态规划（DP）优化 Join 顺序。
Nereids 优化方法：结合 Cascading 和 DPhyper 算法。

03 性能瓶颈突破

两次重要突破：
- rewrite 重构：节约 MemoCopyIn/CopyOut，对复杂查询性能提升两个数量级。
- CostAndEnforce 优化：进一步优化代价模型和执行引擎。

04 挑战

公平与效率：
- Bushy：适用于表数量较少（如少于 5）的场景。
- Cascading：适用于表数量较多但误差可接受的场景。
颠覆者 Runtime Filter：
- 通过实时过滤技术优化特定查询，如查找“华为”品牌商品订单。
- 假设数据均匀分布且字段相关性低，误差可控。

社区参与

加入社区：
- 订阅开发者邮件组：dev@doris.apache.org。
- 参与双周开发者会议：https://meeting.tencent.com/dm/6iQBgkIhn5LO。
- 查阅 Doris Improvement Proposals (DSIP)：https://cwiki.apache.org/confluence/display/DORIS/Doris+Improvement+Proposals。
关注资源：
- SelectDB 微信公众号：获取最新活动、技术解析、社区动态。
- SelectDB 官网：www.selectdb.com。
- Apache Doris GitHub：https://github.com/apache/doris。
- Apache Doris 官网：https://doris.apache.org/。

周明宏SelectDB高级研发工程师 DataFunSummit#2023 目录CONTENT 重塑为什么我们要重做Doris优化器以统一的视角重新理解优化的规则挑战理论上很完美，但是。。。突破性能瓶颈的两个小故事 01重塑 Nereids：新一代优化器 01缺少优化规则的抽象不方便细粒度控制规则使用，不方便query调优增加优化规则的额外成本高不能查看规则优化后的plan 02缺少CBO框架没有统计信息收集框架统计信息推导能力不足代价模型代码零散没有逻辑代数的枚举，只能做有限的CBO 03树的遍历只有两轮bottom-up的遍历无法实现对有循环依赖的规则无法实现一些需要改变底层节点的规则 Nereids：我们Doris 2.0见在ssb、tpch 500G/1T测试中超越人工改写sql 用户POC测评中性能远超老优化器 02优化的本质 DataFunSummit#2023 SQL的本质--描述性语言一条SQL的旅程一条SQL的旅程什么是优化优化举例尽早降低数据规模中美贸易详情（TPC-H q7）优化举例尽早降低数据规模 Joinreorder 动态规划 DPSizeDPSubDPhyperCascading.... Nereids Cascading +DPhyper 03性能瓶颈两次重要突破 02CostAndEnforce优化 01rewrite重构节约MemoCopyIn/CopyOut 对复杂query提升两个数量级 04挑战公平与效率 Bushy 公平与效率 Cascading 表数量较少，比如少于5 DPhyper 表数量较多与误差共存假设：均匀分布，字段相关性...qError 颠覆者Runtime Filter 找出“华为”品牌下商品的订单颠覆者Runtime Filter 找出“华为”品牌下商品的订单颠覆者Runtime Filter 颠覆者Runtime Filter 如何加入Apache Doris社区订阅开发者邮件组订阅社区开发者邮件dev@doris.apache.org并参与社区的邮件讨论中双周开发者会议(线上会议) 通过会议链接参与到社区开发者双周会：https://meeting.tencent.com/dm/6iQBgkIhn5LO DorisImprovementProposals(DSIP)通过DSIP查阅社区核心功能设计方案及相关进展：https://cwiki.apache.org/confluence/display/DORIS/Doris+Improvement+Proposals 欢迎关注：欢迎关注SelectDB微信公众号获取最新活动资讯、技术解析、社区动态公司邮箱：support@selectdb.comSelectDB官网：www.selectdb.com 欢迎关注Apache Doris GitHub &官网 ApacheDorisGitHub：https://github.com/apache/dorisApacheDoris官网：https://doris.apache.org/ 感谢观看

点击免费查看完整报告