7 京东物流-存算分离StarRocks在京东物流的落地实践

存算分离StarRocks在京东物流的落地实践

1. 一站式自助分析场景

• UData：京东物流的一站式自助分析平台，基于StarRocks的高性能实时摄入、联邦查询和湖仓一体能力，覆盖10万个业务人员，提供面向物流全链路的数据分析解决方案。
• UData产品架构：
  • 数据接入：MySQL、Oracle、OLAP、ClickHouse、Elasticsearch、本地Excel等。
  • 数据管理：数据地图、指标表、数据源管理、权限管理等。
  • 数据分析：支持多种数据可视化和看板发布。

2. 存算一体向存算分离演进

• 原因：
  • 海量数据的近实时写入和长周期留存：降低存储成本，保证用户体验。
  • 成本和运维压力：云原生部署，弹性扩缩容。
• 部署：
  • 使用京东云Kubernetes（K8s）部署，双可用区容灾。
  • 使用万兆网卡和SSD的物理机，保证网络和缓存I/O性能。
  • FE和CN节点采用预调优配置，开箱即用。
• 表、存储卷与OSS Bucket映射：
  • 大表独享Bucket，小表共享Bucket，规避带宽和IOPS限制。
  • 新增元数据表维护Table、存储卷和Bucket映射关系。
• 实时写入存算分离表：
  • 自研低代码平台，1~5分钟配置Flink Job实现MQ → SR Stream Load。
  • 自动获取Schema，支持配置Transform & Filter。
  • 自动配置宽松的攒批和容错参数，保证数据新鲜度。

3. 性能表现与降本增效

• 写入吞吐量：
  • 单张大表日均新增行数十亿量级，日均更新次数百亿量级。
  • 开启Batch Publish Version，写入吞吐与同等规模的存算一体集群持平。
• 查询性能：
  • 单张大表存储180天、百亿级历史数据，用户执行离线数仓风格的OLAP查询。
  • 5个CN节点，Cache TTL 20天，Cache hit情况下P95/P99与同规模存算一体集群相似。
  • Cache miss情况下查询响应极少超过1min，远快于查询Hive，满足用户分析需求。
• OSS性能与降本效果：
  • 每TB存储成本相对于存算一体集群降低90%。
  • 承载同等用户查询量的计算资源成本降低30%。

4. 稳定性保障与调优实践

• Compaction调优：
  • 根据CN节点规格，适当调整Compaction线程数和线程池队列。
  • 适当降低每次Cumulative Compaction的Rowset数，加快完成速度。
  • 实时监控Compaction Score。
• Vacuum调优：
  • 注意观察queued_delete_file_tasks和metadata_travel_latency指标。
  • 调整FE相关日志。
  • 适当调整release_snapshot线程池容量和分区并行度。
• 分区查询硬限制：
  • 为LakeTable添加参数，限制单个用户查询扫描的分区数。
  • 放行统计信息收集使用Tablet Hint的查询。
• 优化统计信息收集：
  • 对于单分区较小但总数据量较大的表，将全量收集固定到业务低峰期进行。
  • 平时进行抽样采集。

5. 未来计划

• 更多数据迁移至存算分离。
• 推广应用，实现更灵活的扩缩容（VPA）。
• 应用降本增效，推广更高效的主动、分级缓存。
• KV型Catalog（HBase, Redis）实验特性支持。
• 行列混存, GIN特性支持。
• Stream Load任务合并。