5-5 腾讯 Alluxio：加速新一代大数据与 AI 变革

大数据架构演进

• 昨天：10年前的大数据生态圈。
• 今天：Alluxio从2013年起在GitHub开源，累计超过32000个提交，来自全球100多家组织的1100多位开发者参与。2020年被评为Google及OpenSSF开源指标中最有影响力的Java开源项目之一。
• 未来趋势：
  • 数据分享：统一数据接口，支持不同计算平台。
  • 数据权限与管理：无拷贝的数据管理，基于缓存技术的数据移动。
  • 云上弹性集群：服务计算存储分离架构，多层数据策略。

Alluxio研发进展

• 腾讯进展：Alluxio在腾讯的进展包括基于容量的选worker读策略，集成Ozone、CephFS、Cosn等底层存储，实现了Alluxio worker下线功能。
• 技术演进方向：
  • 与K8S集成：更深度集成。
  • 与数据湖方案集成：如Hudi, Iceberg。
  • AI场景优化：支持超大规模小文件数据集、文件写，优化FUSE进程内存消耗。
  • OLAP场景优化：支持热数据集的估算和监控。

落地案例

• 典型案例：腾讯使用的Supersql是一款高性能、安全的大数据SQL引擎，与Presto混合部署，TPC-DS测试显示平均加速比为2.6。
• 性能提升：I/O密集型查询速度提升244%，所有查询提升中位数水平为121%。
• 稳定性提升：查询失败率降低超过5%，查询超时失败错误率降低29%。

未来工作

• 基础设施建设：建设可靠的自动化测试平台，减少内部代码与Alluxio开源代码冲突，实现Alluxio部署运维配套系统。
• 生态工具建设：完善ratis-shell功能，建设Alluxio智能预热预测系统，实现缓存动态自均衡和手动均衡能力。
• 安全功能扩展：支持更多认证方式和鉴权系统，实现多租户功能，利用Alluxio实现无感冷热数据迁移，自动降冷，访问代理和流量控制，多master联邦，observer master读。

其它贡献

• 开源社区合作：Alluxio与其他项目如Ozone、Ceph、HDFS、Presto、Spark、Flink、Impala等有广泛合作。
• Alluxio本地缓存：实现Alluxio LocalCache，用少量缓存获得显著加速效果（3-10倍）。