货拉拉大数据 Doris 稳定性保障实践

货拉拉 Doris 稳定性保障实践总结

背景与挑战

• 货拉拉大数据介绍：Doris 已接入多个核心业务，成为大数据核心基础组件。
• 稳定性挑战：开源软件能力与生产需求差距大，业务对稳定性要求高（核心链路数据准确率≥99.45%）。
• 稳定性保障目标：快发现（问题≤5min）、快恢复（P0≤5min，P1≤10min）、少出事。

稳定性能力保障

• 稳定性案例：
  • 查询问题：如 Doris-1.1.3 Sparkload unique 模型数据查询不准确。
  • 导数问题：如云台查询 Doris 间歇性报错（线程池满）。
  • 数据质量问题：如业务变更导致 segment 损坏。
  • 业务变更问题：如新增字段变更未及时发现。
• 建设思路：
  • 发现能力：基于 Zabbix 监控 Doris 服务（表级、任务级、组件级）。
  • 容量规划：梳理业务需求、数据量、硬件资源，监控容量异动并预警。
  • 高可用能力：通过 HA 部署、三副本、负载均衡实现。
  • 自动化能力：基于 Netflix Conductor 和 Ansible 实现部署、扩容、升级自动化。
  • 其他保障能力：查询拦截、故障快恢复、业务隔离、用户权限管控。

稳定性流程规范

• Doris 业务准入规范：需求评估、准入评审。
• Doris 使用规范：明确使用限制和最佳实践。
• Doris 业务变更规范：发布窗口、审核、发布通知、验收。

总结与规划

• 保障目标：数据准确性/可靠性、业务链路稳定性。
• 案例分析：涵盖数据查询、导数性能、数据质量、版本升级、业务变更等场景。
• 思考：稳定性建设需持续体系化，需业务方支持。
• 规划：
  • 稳定：多集群 HA、多租户隔离、冷热存储。
  • 易用：OLAP 能力平台化提升易用性。
  • 高效：尝试高并发点查、文本搜索、联邦查询等新场景。