Hudi 数据湖在顺丰的应用实践

顺丰集团业务概览：涵盖物流、科技服务等领域，数字化全流程涉及数据湖的深度应用。
数据湖Hudi能力：
- 离线批计算：技术成熟稳定，可应对复杂逻辑，但时效性低（天级/小时级）。
- 实时流计算：时效性高（分钟级），支持流批写入、增量查询、局部更新、ACID、多版本，但开发成本高、稳定性低、复杂度有限。
应用场景：
- 中转/流向预测：件量预测参考，支持场地人力和资源安排。
- 可视化监控与分析：经营热力图、件量、客户、产品、收派比可视化分析。
- 运单/运力异常监控：实时/准实时监控，快速识别运力异常，降低损失。
- 异常风险识别：近实时识别航空资源动态缺口，调整资源分配。

实时数据入湖实践：
- 顺丰实时数据接入发展历程：从Flink + Canal实现数据入湖，但存在数据一致性难保障、架构复杂等问题。
- 实时数据入湖的需求和技术选型：核心需求包括低影响、数据一致、高性能、分布式采集、稳定性。
- 基于开源Flink CDC实现数据入湖步骤：存在接入门槛高、维护难度大等问题。
- 解决方案：通过产品化降低数据入湖门槛，实现安全可控、易维护、高效接入。
- 实时接入产品应用架构：包括数据源授权、作业创建、元数据同步、数据使用等步骤。
- 稳定性问题及解决方案：
  - 采集阶段全/增量读取性能优化：完善Snapshot阶段切分逻辑，优化Binlog同步阶段Task分配算法。
  - 提高全增量同步稳定性：增加重连机制，避免下游反压导致的异常。
  - 采集阶段读取限流和任务合并：通过任务合并、限流降低源库负载。
  - 数据入湖阶段Bucket策略优化：优化Bucket算法分配策略，完善Bucket适用场景，提升写入性能。
- 达成效果：亿级表数据实时入湖。
离线数据开发实践：
- 数据湖开发痛点：更新效率低下，HBase索引维护工作量大。
- 解决方案：支持数据水位识别，记录级别索引加速更新效率。
- 达成效果：千万级数据更新提效40分钟。