3 阿里云-StarRocks+Paimon在阿里集团LakeHouse的探索与实践

阿里集团数据湖（ALake）项目已全面升级为Lakehouse架构，核心采用Paimon湖格式和StarRocks开源引擎。Paimon作为最适合流/批/OLAP统一的湖格式，具备以下优势：

• 数据管理：主键表支持分钟级实时更新，非主键表支持PB级海量追加，并具备时间旅行、数据分支切换等功能。
• 高效查询：通过Z-order、索引、Deletion Vector等优化，实现高效OLAP查询。
• 生态丰富：支持FlatJson列化存储（导入性能提升50%，查询性能提升10倍），并兼容多种优化方案。

StarRocks引擎作为查询Paimon湖格式性能最优的开源引擎，通过Plan优化、Runtime优化、数据Scan优化及OSS/S3极致优化，实现存算分离架构下的统一查询能力，包括：

• 灵活的物化视图、多表联邦、弹性和隔离机制。
• 统一缓存管理，支持更多实时数据和分析决策。

应用案例：饿了么通过StarRocks x Paimon架构（Lakehouse）解决Kappa架构（实时数仓）痛点，实现：

• Flink计算资源减少50%，存储成本降低90%。
• Paimon vs Hudi时效性提升2倍。
• StarRocks相较于其他外表查询方案，多场景下平均性能提升5-10倍。

核心结论：

• Paimon+StarRocks架构助力阿里集团降本提效，实现数据实时化，赋能更多业务场景。
• 未来将基于物化视图、Paimon ETL及非结构化数据支持（AI+数据湖）持续优化，并推动社区共建。