4-2 实时数仓的场景剖析与架构搭建实战

数仓架构演进

• 实时湖仓架构：数据实时发送至Kafka（通过MSK或RDS CDC工具），Flink消费Kafka数据写入Hudi或Iceberg（底层存储S3），ADS层按需Sink数据至OpenSearch或Redshift，实现数仓各层OLAP查询（EMR提供算力支持）。

实时计算

• 轻量级服务需求：探讨是否需要更轻的实时计算服务。

Amazon Analytics Serverless服务

• 无服务器实时湖仓架构：整合Data Lake、JDBC/ODBC、Data API、Redshift Compute Cluster等组件，实现弹性计算与存储加速。

Redshift架构

• 核心组件：包括Redshift Compute Cluster（Leader Node、Compute Nodes）、Amazon Nitro Compute、Storage Acceleration、Operational Databases、Query Live Data、Incremental MVs、Compilation Service、Global Cache、CaaS、Data sharing clusters、Auto-scaling clusters、Amazon SageMaker、Redshift ML、Redshift Managed Storage、AQUA、Parallel execution、Node、Spectrum等。

Redshift实时数据摄入能力

• 摄入方式：
  • Kinesis Data Stream：日志数据通过KPL或Kinesis Agent发送至KDS（Serverless服务，支持API扩缩容）。
  • Redshift Streaming Ingestion：直接消费Kinesis（预计2022 Q2~Q3支持MSK）到Redshift，创建物化视图，秒级延迟，30W/S吞吐（2kb size），小于30秒延迟。
  • KDA（Flink Runtime）：消费KDS数据，经流计算后结果Sink到RDS或KV，端到端秒级延迟。
  • DMS：同步RDS Binlog到Redshift，支持Schema部分自动变更，同时支持全量同步。
  • 其他CDC工具：通过DMS或其他工具（如Debezium、Flink CDC）将CDC数据发送至Kinesis，再通过Redshift Streaming Ingestion+存储过程写入Redshift。

Redshift实时数仓+ML

• Amazon Serverless预览版：集成ML功能，提升实时数仓智能化水平。