6 唯品会-StarRocks在电商数据分析场景的实践

StarRocks从2.5到3.X的迭代升级

OLAP在电商场景的发展历程

StarRocks在电商场景的OLAP分析经历了从2.5到3.1的迭代升级，逐步从存算一体发展到存算分离，并最终实现湖仓一体，以增强智能BI分析能力。

StarRocks2.5存算一体加速分析

• 分析1.0痛点：基于PrestoDB+Alluxio的方案因引擎能力和资源限制，用户体验存在明显痛点。
• StarRocks引入效果：通过向量化和更好的下推能力，分析能力提升7倍，资源利用率在双11、双12等大促期间长期保持在85%以上。
• 数据导入优化：通过定制化优化导入流程，提升查询稳定性和数据时效性。
• 局限性：存算一体导致独立资源弹性扩展能力不足，PB级别数据分析数仓和StarRocks数据交换成本巨大。
• 改进措施：灵活调配内表和外表比例，弥补纯内表模式的局限性；HyperLogLog优化，秒级汇总亿级数据。

StarRocks3.1存算分离优化和实践

• HyperLogLog优化：Velox的HyperLogLog实现替换自带函数，二进制兼容由Spark使用Java版HLL UDAF写入Hive的预聚合结果。
• 多集群和存储分离：通过多集群和存储分离，提升分析能力，满足大量指标的并发查询需求。

StarRocks湖仓一体增强智能BI分析

• 智能BI分析挑战：大量指标的并发查询（长周期30-180天、同环比等）。
• 解决方案：指标全—数据湖仓；扩分析能力——多集群、存储分离。

StarRocksNext：统一分析场景

• 实现路径：基于StarRocks强大的查询和分析能力，通过统一的对外接入服务，根据SLA要求自动路由对应的集群，实现One Fits ALL。
• 主要工作及成果：
  • 2020年：AB实验场景下Flink百万级/s写入性能优化。
  • 2023年：部分场景替代Presto，提升5-10倍查询效率（P85查询小于5s）。
  • 2019年：基于负载的集群调度，用户智能查询路由。
  • 2022年：日志场景下替换ES，节约50%以上成本；BulkLoad出仓加速2倍以上。
  • 2024年：大规模存算分离和统一湖仓分析加速。
  • 2019年：全部容器化，集群智能扩缩容。
  • 2022年：Spark和Presto潮汐混部，Presto夜间缩容调度ETL。
  • 2024年：核心集群多AZ容灾和高可用。
  • 2024年：Serverless架构，资源动态扩缩容。