一次史诗级难度的数据湖迁移分享 - 房军

房军个人简介与迁云项目总结

个人简介

房军是阿里云的高级技术专家，专注于数据湖、数据仓库、数据治理等数据领域工作。

背景介绍与挑战

项目面临的主要挑战包括：

• 表体量大，需高效利用带宽平衡增量与存量数据迁移
• 超大规模数据迁移中的数据一致性保障
• 双跑任务的编排与流量分配
• 最小化业务影响和任务改造
• 复杂项目管理及长周期资源交付管理

迁云总体方案

迁云项目采用以下方案：

• Spark验数集群：用于数据校验
• 2OSS：配置目标端OSS对象存储服务
• EMR集群：部署目标端EMR计算集群
• 调度系统：用于调度阿里云EMR任务
• 3DLF迁移服务：用于数据全量/增量迁移与校验

资源保障

通过端到端的预警机制支撑资源准备，确保项目顺利推进。

数据迁移

数据资产管理为数据迁移保驾护航，确保迁移过程的高效与安全。

任务迁移

• 创新式引入数据调度依赖双跑策略，极大提升发现双跑问题的速度
• Dlf内置50+函数完成数据校验，支持行级diff
• 首创预同步影子桶方案，节约专线资源，提升双跑流程效率

平台割接

通过一万次的准备，最终实现平台割接的成功，确保业务平稳过渡。

总结回望

在线可视的项目管理让风险最低，为项目成功提供有力保障。