大模型分布式训练的第四种境

分布式训练技术发展及未来挑战

历史背景

• LLM 发展需求：大型语言模型（LLM）需要巨大的算力，Transformer 模型的 FLOPs 计算公式为 C ≈ 6ND，其中 N 为参数数量，D 为训练的 token 数量。
• 算力缺口：模型参数与内存需求差距巨大，以 A100 峰值算力计算，仅能支持约 254 年的训练，而 PaLM 模型需要 2048 个 GPU 才能在 46/R 天内完成训练。
• 分布式训练系统：为解决算力瓶颈，分布式训练系统应运而生，通过图和设备集群优化计算资源。

分布式训练技术体系

• 技术发展简史：
  • 计算图与放置优化：如 FSL、PathWay@Google、CLIP@OpenAI 等。
  • 早期框架：DistBelief、Parameter Server、Bosen、GeePS 等。
• 主要技术分类：
  • ZeRO-DP 数据并行家族：通过 Recompute 和 Offload Memory/NVME 优化内存。
  • 同步流水线并行家族：包括 DAPPLE、Interleaved 1F1B、Meark、Chimera 等。
  • 异步流水线并行家族：如 Pipedream。
  • 张量并行家族。

未来挑战

• 技术方向：
  • 性能优化：开发更精准的 Profiler 以支持调度器和人工优化。
  • 自动并行化：实现自动化的并行计算优化。
  • 新模块支持：探索其他模型模块的分布式训练方法。