Apache Doris与Elasticsearch：在分析场景下的深度对比

mit A DorisSummit Asia2024 Asia2024 DorisSummit DorisSummit Asia2024 ApacheDoris与Elasticsearch Asia2024 DorisSummit 在实时分析场景下的深度对比 Asia2024 肖康 DorisSummit Asia2024 DorisSummit ApacheDorisPMC成员 DorisSummit Asia2024 DorisSummit Asia2024 目录01 02 为什么对比两者深度对比 DorisSummit Asia2024 mit Asia2024 DorisSummit Asia2024 A DorisSummit Asia2024 DorisSummit 03典型案例 DorisSummit mit Asia2024 A DorisSummit DorisSummit Asia2024 DorisSummit Asia2024 01 Asia2024 DorisSummit Asia2024 Asia2024 DorisSummit 为什么对比两者 Asia2024 DorisSummit Asia2024 为什么对比两者 DorisSummit Doris实时数仓Elasticsearch搜索引擎 Asia2024 •运维领域：可观测性 •安全领域：安全分析 Asia2024 DorisSummit •业务领域：在线报表、用户画像、湖仓一体 •运维领域：可观测性 DorisSummit •安全领域：安全分析 Asia2024 •业务领域：搜索与分析 mit A DorisSummit Asia2024 DorisSummit 相似的应用场景：实时分析 DorisSummit mit Asia2024 A DorisSummit DorisSummit Asia2024 DorisSummit Asia2024 02 Asia2024 DorisSummit Asia2024 Asia2024 DorisSummit 深度对比两者 Asia2024 DorisSummit Asia2024 从用户角度多维度深入对比 DorisSummit Asia2024 DorisSummit 1开源开放 2系统架构 3实时写入 4实时存储 5实时查询 DorisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia2024 对用户的开放性和使用约束 可选的部署形态和依赖要求 数据写入的方式和性能 数据存储的功能和性能 查询的功能和性能 Asia2024 DorisSummit Asia2024 1开源开放 ApacheDorisElasticsearch DorisSummit 一直是Apache2.0License •开放 •商业友好 Asia2024 •长期持续 多次变更License Asia2024 DorisSummit •ApacheLicense2.0 •ElasticLicense •AGPLLicense mit DorisSummit A 项目运营 DorisSummit Asia2024 •Apache开源软件基金会 项目运营 DorisSummit Asia2024 •Elastic公司 Asia2024 DorisSummit Asia2024 2系统架构 DorisSummit ApacheDorisElasticsearch mit DorisSummit Asia2024 A 支持3种部署模式 •On-Premise Asia2024 •CloudSaaS DorisSummit Asia2024 DorisSummit •CloudBYOC 支持2种部署模式 DorisSummit •On-Premise Asia2024 •CloudSaaS Asia2024 DorisSummit Asia2024 2系统架构 DorisSummit ApacheDorisElasticsearch mit DorisSummit Asia2024 A 支持存算一体和存算分离，多种弹性 •计算-计算分离：workloadgroup Asia2024 •存储-存储分离：冷热分层 DorisSummit Asia2024 •存储-计算分离：存算分离 仅支持存算一体，有限弹性 DorisSummit •计算-计算分离：threadgroup Asia2024 •存储-存储分离：冷热分层 DorisSummit •存储-计算分离：不支持 Asia2024 DorisSummit Asia2024 3实时写入 DorisSummit ApacheDorisElasticsearch mit Asia2024 A 支持实时写入与更新，吞吐高 •写入吞吐高：多副本一次索引，向量化 Asia2024 DorisSummit •支持Push：HTTPREST/MySQL DorisSummit Asia2024 •支持Pull：Kafka，CDC 支持实时写入与更新，吞吐低 DorisSummit •写入吞吐低：多副本多次索引 Asia2024 •支持Push：HTTPREST DorisSummit •不支持Pull：需借助logstash外围工具 Asia2024 DorisSummit Asia2024 4实时存储 ApacheDorisElasticsearch httplogs数据集重复导入时 tpch100Gcustomer表重复 支持3种存储模型 •明细模型 •主键模型 Asia2024 •MOW写优化MOR读优化两种模式 •主键去重写入性能仅降低10% •支持多字段联合主键 支持2.5种存储模型 DorisSummit Asia2024 •明细模型 •主键模型 DorisSummit •仅支持MOW写优化模式 •主键去重写入性能大幅降低3倍 •主键仅支持1个字段，不能用于聚合和排序 700 525 350 Asia2024 175 间对比（单位：秒） 导入时间对比（单位：秒） DorisSummit 70 53 35 18 •聚合模型 •聚合模型 0 DorisElasticsearch 0 DorisElasticsearch mit A DorisSummit Asia2024 DorisSummit 明细模型主键模型明细模型主键模型 Asia2024 DorisSummit Asia2024 4实时存储 DorisSummit ApacheDorisElasticsearch mit DorisSummit A 支持3种存储模型 •明细模型 Asia2024 •主键模型 •聚合模型 •同步强一致聚合 •支持更新 DorisSummit Asia2024 •原始+聚合和仅聚合两种模式 支持2.5种存储模型 Asia2024 DorisSummit •明细模型 •主键模型 Asia2024 •聚合模型 •异步最终一致 •不支持更新 DorisSummit •聚合数据替换原始数据，不能共存 Asia2024 DorisSummit Asia2024 4实时存储 DorisSummit ApacheDorisElasticsearch mit DorisSummit Asia2024 A 存储空间占用低 •列存+简化倒排索引 Asia2024 •LZ4/GZ/ZSTD压缩算法 DorisSummit Asia2024 •整体压缩率高1:5~1:10 存储空间占用高 DorisSummit •行存+列存+倒排索引 Asia2024 •LZ4/GZ压缩算法 DorisSummit •整体压缩率低1:1.5 Asia2024 DorisSummit Asia2024 3实时存储 DorisSummit 600 25. 2.4 625 800 87.5 450 300 150 20. 15. Asia2024 10. 5. 1.8 1.2 0.6 500 Asia2024 375 250 Asia2024 125 600 400 200 70. DorisSummit 52.5 35. 17.5 DorisSummit 0 写入速度（MB/s） 0. 存储空间（GB） 0. 查询耗时（s） 0 写入速度（MB/s） 0 存储空间（GB） 0. 查询耗时（s） ■ApacheDoris■Elasticsearch ■ApacheDoris■Elasticsearch mit A DorisSummit Asia2024 DorisSummit ES官方benchmarkhttplogs测试集，32GB、2.47亿条数据，11个查询MicrosoftAzurelogsbench测试集，1TB、40亿条数据，10个查询 Asia2024 DorisSummit Asia2024 4实时存储 DorisSummit ApacheDorisElasticsearch mit DorisSummit A 支持灵活schemachange •秒级动态增加字段 •秒级动态删除字段 Asia2024 •秒级动态增加索引 •秒级动态删除索引 •后台增量构建索引 DorisSummit Asia2024 •秒级修改表名、字段名 支持有限schemachange Asia2024 DorisSummit •秒级动态添加字段 •不支持删除字段 •不支持增加索引 Asia2024 •不支持删除索引 •不支持增量构建索引 DorisSummit •不支持修改表名、字段名 Asia2024 DorisSummit Asia2024 5实时查询 DorisSummit ApacheDorisElasticsearch mit DorisSummit Asia2024 A 开放的查询接口，使用简单 •标准的SQL Asia2024 •开放的MySQL生态 DorisSummit Asia2024 •学习门槛低，熟悉后容易盲写 专用的查询接口，使用复杂 DorisSummit •定制的DSL Asia2024 •私有的ES生态 DorisSummit •学习门槛高，熟悉后仍然参考手册和样例 DorisSummit Asia2024 Asia2024 mit Asia2024 DorisSummit DorisSummit A DorisSummit Asia2024 Asia2024 5实时查询 DorisSummit Asia2024 DorisSummit ApacheDorisElasticsearch Asia2024 DorisSummit Asia2024 5实时查询 DorisSummit ApacheDorisElasticsearch mit A 支持JOIN等丰富的分析能力 •支持完整的多表JOIN和优化 •INNER/OUTER/CROSSJOIN Asia2024 DorisSummit •LEFT/RIGHTSEMIJOIN •LEFT/RIGHTANTIJOIN •支持更多复杂分析能力 DorisSummit Asia2024 DorisSummit •UDF，子查询，窗口函数，逻辑视图，物化视图，湖仓一体... 支持搜索和聚合查询 Asia2024 DorisSummit •不支持多表JOIN Asia2024 •不支持更多复杂分析能力 Asia2024 DorisSummit Asia2024 5实时查询 DorisSummit ApacheDorisElasticsearch mit Asia2024 A DorisSummit 多种负载上有极速响应 •点查性能高：行存+主键+倒排索引 DorisSummit Asia2024 DorisSummit •分