StarRocks采用存算分离架构,依托京东云JDOSK8s部署,具备双可用区容灾和Proxy灵活切量能力,通过配备万兆网卡及SSD的物理机保证网络和缓存I/O性能,并预调优FE/CNSpecs实现开箱即用。
核心技术优势包括:
- FastSchemaEvolution:加减列等常见schema变更无需重写数据,实现秒级DDL(3.3+版本);
- Tablet并行Scan:通过将大块数据切分并行加载等技术,显著降低查询延迟,cache miss场景效果更显著(3.3+版本);
- BatchPublish:将众多并发事务合并Publish,提升高频高并发导入吞吐,存算分离架构下实现10s数据新鲜度(3.2+版本);
- Merge Commit:支持1s实时导入,适用于高并发场景(300表、300并发、1s写入频率,总流量92K events/s,event 10KB+),表的流量分布符合二八法则。
成本分析:
- TCO = Cost(Compute) + Cost(Storage) + Cost(API);
- Cost(Compute):按需配置,弹性伸缩;
- Cost(Storage):存储空间0放大;
- Cost(API):对象存储隐性成本≈N(tablet)C3。
优化方案:
- NativeSparkConnector:简化ETL与数仓链路,实现一站式数据加工查询,ETL与数仓资源隔离且互不影响,ETL具备秒级实时更新能力。
结论:
StarRocks通过存算分离架构及多项优化技术(如FastSchemaEvolution、Tablet并行Scan、BatchPublish、Merge Commit),在性能、成本和易用性方面具备显著优势,特别适用于高并发、秒级实时数据场景,同时降低TCO。