从Impala到Apache Doris，货拉拉用户画像优化实践

货拉拉用户画像优化实践：从 Impala 到 Apache Doris

货拉拉画像平台现状

• 公司规模：月活用户数100万，月活司机数1350万，国内货运开城数量363座。
• 画像平台价值：支撑司机派券/邀约、用户满意度、估价等业务，用户圈选人群量级逐年增加（2021-2024年）。
• 应用规模：接入业务方数量超过3000家，标签数200+，人群数5万。

画像平台架构痛点

• 技术架构：Persona-BE（用户标签链路系统）和Persona-API（画像服务）。
• Impala 痛点：
  • 稳定性差：易发生OOM，导致数据延迟；服务重启或升级引发故障。
  • 性能瓶颈：数据导入耗时长（90+min），人群计算慢（10+min，高峰期30+min）。
  • 依赖性强：强依赖神策组件，接口数据链路导入慢，第三方组件维护难。

Impala > Apache Doris 迁移实践

• 组件选型：对比 Druid、ClickHouse、Apache Doris，选择Doris因其高并发、易用性。
• 迁移方案：
  • 阶段1：Doris链路搭建，Broker Load导入（50+任务，4亿数据，<30min耗时）。
  • 阶段2：双跑验证（Doris+Impala），数据质量与稳定性测试。
  • 阶段3：逐步下线Impala，Doris接替计算与查询流量。
• 调优经验：
  • 问题1：bitmap类型字段返回null，通过return_object_data_as_binary=true解决。
  • 问题2：低基数优化bug导致数据异常，通过关闭enable_low_cardinality_optimize修复。
• 数据质量保障：
  • 建立自动化回归测试能力（SQL集、数据集、自动化比对）。
  • 完善监控拦截机制（已识别10+异常函数）。

迁移效果

• 稳定性：接入Doris后无稳定性问题。
• 时效性：数据导入耗时从90+min降至30min内；人群计算从10+min降至秒级别（高峰期1+min）。

后续规划

• 画像服务：接入实时业务标签，提升人货匹配效率。
• 基础架构：完善Apache Doris+数据湖存储方案，实现超大规模数据分析。