5 Shopee -StarRocks 在 Shopee 的应用和实践

Shopee StarRocks 集群及应用场景总结

Shopee StarRocks 集群介绍

• 集群架构：Shopee 采用独占集群和多租户管理模式，实现资源隔离，支持多租户环境下的资源隔离。
• 集群管理模式：通过用户集群资源管理界面进行资源分配和监控。
• SQL 生命周期管理：包括 SQL 入队、任务标识、权限管理、查询监控、退出能力和审计日志管理，确保 SQL 运行的全生命周期可控。

StarRocks 在 Shopee 的应用场景探索

• OLAP 业务场景：Shopee 的 OLAP 业务场景多样，现有引擎（ClickHouse、Trino）存在 Join 性能不足、资源消耗大等问题。
• StarRocks 提升 Join 性能：通过优化 Join 操作，减少打平表的 effort，提升查询效率。

StarRocks on Hive 在 Shopee 平台的应用

• Data Go 平台：使用 MySQL 协议直接查询 Hive 数据，逐步替换 Trino 进行多表 Join，查询响应时间显著提升（20 秒完成相同查询）。
  • 资源使用对比：StarRocks 峰值 CPU 用量 150 核，均值 40 核；Trino 峰值 2000 核，均值 100 核。
• Data Studio 平台：将 StarRocks 作为查询引擎，解决 Trino 资源瓶颈和查询响应慢问题。
  • 性能提升：SR bypass rate 62%，执行成功率 90.11%，P90 查询速度提升 2.25 倍。
  • 切换方案：通过 bvpass 规则筛选 SQL，部分下发 Trino，部分下发 StarRocks，失败则回退到 Trino。
  • 现存问题：部分 SQL（47%）无法在 StarRocks 上运行，主要原因是版本限制（Unified Catalog、Hive view 支持）、函数兼容性等。
  • 解决方案：升级 StarRocks 版本（3.3.3），引入 Unified Catalog，逐步提升 SQL 下发比例。

StarRocks MV on External Catalog 在产品中的应用

• DataService 产品：Shopee 的数据平台产品，通过 API 提供数据，但 Trino 查询 Hive 响应慢，影响 SLA。
• OLAP SpeedUp 方案：使用 StarRocks 异步物化视图加速查询，通过 SQL 改写为 CTE 模式。
  • 性能提升：查询性能提升 100 倍以上。
  • 业务反馈：用户对性能提升满意，但存在成本顾虑（物化视图存储资源浪费）。
  • 现存问题：集群资源利用率（CPU 和内存）问题，尤其内存预分配不足会导致刷新失败。
  • 解决方案：调整 k8s Pod 的 Request 和 Limit，开启 enable_spill 功能；用户 SQL 推广仅加速所需列。
• 使用现状：截至 2024 年 11 月，已有 81 个 API 开启 OLAP SpeedUp，其中 20 个投入线上使用，包括 SLA 要求较高的卖家服务 API。