为什么对比两者
Elasticsearch 和 Apache Doris 在运维、安全和业务领域有相似的应用场景,如实时分析。
深度对比两者
1. 开源开放
- Elasticsearch: 多次变更 License,现为 Elastic License,商业友好但开放性受限。
- Apache Doris: 始终使用 Apache 2.0 License,开放且商业友好,由 Apache 开源软件基金会运营。
2. 系统架构
- Elasticsearch: 支持 On-Premise、Cloud SaaS 和 Cloud BYOC 三种部署模式。
- Apache Doris: 支持 On-Premise 和 Cloud SaaS 两种部署模式,支持存算一体和存算分离,弹性更高。
3. 实时写入
- Elasticsearch: 写入吞吐低,支持 HTTP REST 接口,不支持 Pull 方式。
- Apache Doris: 写入吞吐高,支持 HTTP REST、MySQL 推送和 Kafka、CDC 拉取。
4. 实时存储
- Elasticsearch: 支持2.5种存储模型(明细、主键、聚合),存储空间占用高。
- Apache Doris: 支持3种存储模型(明细、主键、聚合),存储空间占用低,支持同步强一致聚合和更新。
5. 实时查询
- Elasticsearch: 使用开放查询接口(SQL),学习门槛低,支持搜索和聚合查询,但分析能力有限。
- Apache Doris: 使用专用查询接口(DSL),学习门槛高,支持 JOIN 等丰富分析能力,支持 UDF、子查询、窗口函数等。
对比总结
- Elasticsearch: 适合点查性能要求高的场景,分析性能较低。
- Apache Doris: 适合需要高写入吞吐、灵活架构和复杂分析的场景。
典型场景和案例
可观测性场景
- 抖音: 日增数据量8000亿条,LogTrace 场景完全支持 Doris。
- 网易: 日志场景存储空间降低1/3,查询效率提升10倍;时序场景服务器节省50%,存储空间降低67%。
- 观测云: 成本节省70%,全文检索性能提升2-3倍。
网络安全场景
- 奇安信: 存储空间节省40%,写入性能提升2倍,支持全文检索、聚合统计和多表 JOIN。
- 中国电信翼支付: 导入性能提升4倍,存储空间节省50%,查询性能提升3倍。
- 安恒信息: 写入性能提升2倍,压缩率提升4倍,查询性能提升4倍。
业务分析场景
- 抖音电商: 直播详情页写入性能提升3倍,查询并发提升4倍。
- 腾讯音乐内容库: 替换 ES 和 CK,存储成本降低80%,写入性能提升4倍,支持复杂分析。
- 360企业安全浏览器: 聚合分析效率提升100%,存储空间降低60%,SQL开发效率提升1倍以上。
结语
Apache Doris 在实时写入、存储和查询方面表现优异,适合多种复杂场景,值得进一步探索和应用。