5-5 货拉拉基于 Doris 的 OLAP 体系演进及建设方法

货拉拉OLAP体系演进及建设方法

背景介绍

• 公司概况：货拉拉是国内城市中拥有58万月活司机和760万月活用户的物流服务平台，使用超过3个IDC，拥有超过1000台机器，存储量达到20PB，每日处理的任务数超过20K。
• 技术架构：包括基础层（离线计算、实时计算、资源管理、大数据存储）、数据接入、数据门户、数据仓库、数据治理平台、大数据安全管理等。

OLAP体系演进

OLAP 1.0

• 背景：支持实时智能决策系统（罗盘），需求包括数据实时导入、自由组合维度、实时聚合分析。
• 解决方案：引入Druid引擎，提供单表预聚合查询能力。
• 问题：Mysql存储瓶颈、开发成本高、部分聚合需求不支持。
• 解决思路：POC验证、服务稳定性保障、构建实时/离线导数链路、业务双跑验证。
• 技术调研：对比Druid、ClickHouse、Kylin等OLAP引擎的性能和适用性。
• 问题总结：实时数据乱序、StringLast函数结果值不稳定、无高效的精准去重函数。

OLAP 2.0

• 背景：支持单天近10亿实时数据写入，需支持Map和Json格式数据的高效写入和查询。
• 解决方案：继续使用Druid，但引入ClickHouse。
• 问题：实时数据写入吞吐高、支持Map和Json格式数据的高效写入和查询。
• 解决思路：POC验证、服务稳定性保障、构建实时/离线导数链路、业务双跑验证。
• 技术调研：对比Druid、ClickHouse、Kylin等OLAP引擎的性能和适用性。

OLAP 3.0

• 背景：支持多表关联场景，实现多数据源关联场景下的在线多维分析。
• 解决方案：引入Doris引擎，支持大表JOIN。
• 问题：数据导入准确性、支持大表JOIN。
• 解决思路：POC验证、服务稳定性保障、构建实时/离线导数链路、业务双跑验证。
• 技术调研：对比Druid、ClickHouse、Kylin等OLAP引擎的性能和适用性。

总结思考与后续规划

• 总结：从业务需求出发匹配合适引擎，为业务精细化运营提供技术支持；摸索出一套较完善的上线流程及稳定性保障体系方案。
• 思考：没有单种引擎能高效支持各种场景，需要针对需求特点选取合适的引擎。
• 后续规划
  • 支持更多业务场景：提升开发、决策效率，降本增效。
  • 深入内核原理：提供二次开发支持；完善监控告警体系。
  • 逐步替换Druid：以Doris为主引擎、Clickhouse为辅内核演进。