8-1 Presto on Alluxio 在翼支付 BI 平台的应用实践

Presto + Alluxio在翼支付Bi平台的应用实践

1. Presto + Alluxio应用场景

• 加速Bi平台数据查询：通过使用Presto + Alluxio，显著提升了数据查询速度。
• 加速人工智能场景下模型的训练速度：利用Alluxio的缓存功能，加快了模型训练过程。
• 统一的数据访问入口：通过Presto + Alluxio实现了统一的数据访问接口。

2. 翼支付Bi平台实践

• 业务场景现状及各引擎查询量分布：

  • Presto引擎目前承载Bi平台超过90%的查询请求。
  • Presto集群查询耗时分布：90%的SQL可以在1分钟内完成，但P99分位仍有259秒，有待进一步优化。

• 问题与解决方案

  • 问题一：Presto on AlluxioCluster vs. Presto on AlluxioLocal Cache选型
    • Presto on AlluxioCluster：
      • 优点：集群同部署，实现“Local Cache hit”，可以预先加载缓存，完成缓存冷启动。
      • 缺点：增加机器和运维成本，实时同步HDFS变化增加不确定性。
    • Presto on AlluxioLocal Cache：
      • 优点：无需额外部署Alluxio集群，轻量级。
      • 缺点：无法在动态扩缩容情况下命中缓存，Presto资源浪费。
  • 问题二：URL Schema转变
    • 解决方案：通过转变URL格式，让Presto支持查询Alluxio Local Cache和HDFS。
  • 问题三：外部存储变更时缓存有效性
    • 解决方案：设计缓存及时失效机制。
  • 问题四：缓存频繁查询及IO密集型热表判定
    • 解决方案：开发Cache Manager服务，通过Presto查询统计信息，精确到分区级别判定缓存。
  • 问题四引申：CacheManager服务设计
    • 热力值计算：背包问题。
    • HiveDDL监控。
  • 问题五：Presto与CacheManager交互解耦
    • 解决方案：设计Presto与CacheManager交互过程，降低依赖。

3. 未来规划

• 热点缓存分析：希望通过AI智能学习预测查询概率。
• 轻量解耦方案：未实现当Worker重启后自动恢复AlluxioClient中的存储元数据信息。
• 单点故障问题：协调Coordinator角色，提高可靠性。
• 通用性：未来将设计AlluxioCluster模式下的解决方案，为其他查询引擎提供加速服务。