数据集成
- 数据集成：将多个分散的数据源在逻辑或物理上集中，形成统一的数据视图，帮助企业解决数据孤岛问题，支持管理决策。
- 数据仓库：集成的、面向主题的、随时间变化的、不可修改的数据集合，用于支持管理决策。
- 数据湖：集中式存储，用于存储和处理结构化、半结构化和非结构化数据，以原生格式存储并处理任何转换格式。
数据集成工具
- ETL vs. ELT：ETL（Extract, Transform, Load）和ELT（Extract, Load, Transform）的区别在于数据转换的位置。
- 现代数据集成工具：
- Stitch：Talend收购，支持超过130个数据源，目标是达到200个数据源。
- Fivetran：支持超过150个数据源。
- Airbyte：支持超过120个数据源，计划年底达到200个数据源。
- lakeFS：专注于数据工程，支持多种数据源。
现代数据栈
- 数据栈：一组技术或工具，用于提取、转换和存储原始数据，使其变得可消费和可分析。
- 现代数据栈：基于云上的工具和技术，具有更好的弹性和扩展性，降低运维和管理成本，适用于垂直领域的标准化SaaS服务。
- 现代数据栈实践：
- 围绕Flink CDC的数据集成：包括流式读取、维度关联、流式写入等。
- 围绕Flink CDC的传统数据栈：包括数据接入、数据清洗、数据入仓等。
- 围绕Flink CDC的现代数据栈：强调实时计算和流式处理，提高了数据处理的速度和效率。
总结
本研报详细介绍了数据集成的概念及其历史发展，包括数据仓库和数据湖的概念。同时，还讨论了现代数据集成工具，如Stitch、Fivetran和Airbyte等，并强调了现代数据栈的优势，特别是在基于云的环境下，提供了更高的灵活性和扩展性。最后，通过围绕Flink CDC的数据集成实践展示了现代数据栈的应用场景。
