3-1 Apache InLong 一站式海量数据集成框架原理和实践

Apache InLong 一站式海量数据集成框架

数据集成简介

• 定义：将不同来源的数据整合为一组有意义且有价值的数据集，用于商业智能和业务分析。
• 技术：包括ETL（Extract, Transform, and Load）等技术。
• 分类：按目标分为批量数据集成和实时数据集成；按来源分为内部和外部数据。

Apache InLong 原理

• 发展历程：自2013年至今，从TubeMQ开源到升级为InLong，每日处理数据量不断增加。
• 架构：
  • 组件：包括SDK、DataProxy、Pulsar/Kafka、Sort、Hive、ClickHouse等。
  • 功能：简单易用、稳定可靠、支持多种数据接入方式、灵活扩展。
• 数据流模型：
  • InLongStream：具体的数据流向。
  • InLongGroup：包含多个数据流，代表一个数据接入。
• Agent：具备采集能力，支持插件化。
• DataProxy：负责数据缓存和转发，支持多种存储介质。
• TubeMQ：实现高效的数据传输，支持多副本和客户端过滤。
• Sort：执行数据分拣，支持Flink等实时计算。

Apache InLong 实践

• 应用场景：
  • 数据分析
  • 数据仓库
  • 事件流数据接入
  • IoT 数据集成
• 案例：
  • 广告业务：通过InLong实现低延迟、大量消费者和海量数据处理。
  • 安全业务：处理超过100万个代理，每天超过3000亿条数据。

Apache InLong 规划

• 社区现状：贡献者众多，拥有大量的代码提交和问题反馈。
• 未来规划：
  • 插件化架构
  • 任务管理
  • 支持更多数据源和数据类型
  • 新增目标端支持

关键数据

• 每日数据处理量：从2013年的200万件/天增长至2021年的6632万件/天。
• 代理数量：超过100万个代理。
• 每日数据量：超过3000亿条/天。

总结

Apache InLong 是一个一站式海量数据集成框架，提供从数据采集、传输到分拣的一站式解决方案，适用于多种应用场景。其稳定可靠、支持多种数据接入方式和灵活扩展的特点使其成为大规模数据处理的理想选择。