Apache Doris在天翼云的最佳实践

Apache Doris 在天翼云的最佳实践

整体规模

• 集群规模：20+50+3千+
• 节点总数：超过5000节点

主要应用场景

• 多维分析
• 日志检索
• 湖仓一体
• BI报表

案例速览

1. 替代经分系统：
   • 替代原Impala+Redis架构，提升了报表周期和查询效率。
2. 替代数据集市：
   • 通过直连Doris，实现数据集市去O化，满足0.4s~0.7s的数据调用。
3. 替代BI系统：
   • 在数据分析过程中实现秒级可见。

案例简述

• 即席多维分析：通过Doris提升各省数据平台的查询效率。
• 湖仓一体：使用FlinkCDC+SeaTunnel集成工具和Doris+Spark计算引擎实现湖仓一体。
• 国产化：在鲲鹏芯片上落地Doris，并进行权限扩展和安全加固。
• 日志检索：替换ELK架构，提升日志系统的查询效率。

经典案例

1. 高并发即席查询：

   • 背景：业务特性包括高并发、单表数据庞大、结果集小、需要实时更新。
   • 解决方案：通过分区分桶、智能索引和布隆过滤器提高查询效率。
   • 测试结果：单节点QPS可达5000，整体系统性能稳定。

2. 数据快速导入：

   • 问题：FlinkCDC导入性能低，Doris写入慢。
   • 解决方案：
     • 关闭HTTP重试机制，避免Label重复。
     • 调整streamload参数和硬件资源，优化表存储方式和数据块大小。
     • HDD磁盘实验显示，随机写IOPS有限，顺序写IPOS较高。

关键成果

• 查询效率：大幅提升查询速度，部分场景达到毫秒级响应。
• 成本降低：存储成本降低80%，写入吞吐提升5倍。
• 可靠性增强：实现多活云资源池，提升系统稳定性。