李锴：面向新型智算中心的技术探索

技术探索报告概览

技术背景与挑战

• 计算领域发展趋势：算力密度快速增长，而I/O（输入输出）增长速度相对滞后，尤其是内存通道和PCIe带宽。计算核心数量激增，与之相对的是内存需求的增加和算存比的拉大，这提出了对总线协议和访问效率的改进需求。

• 产业发展：深度学习领域迎来了大规模模型时代，万亿参数级别的模型已成为新常态。从GPT-1到GPT-3，参数量提升了100倍，数据量则提升了1000倍。

面临的挑战与机遇

• 内存压力与计算效率：随着模型参数量的激增，对内存带宽和容量的需求也随之增加，同时，通信带宽和延迟成为限制整体计算效率的关键因素。
• 架构优化需求：为了适应万亿参数模型的需求，通信协议和拓扑结构需要进行优化升级，以提高通信带宽和减少延迟。

CXL互联技术探索

• CXL协议简介：CXL（Compute Express Link）是一种开放的行业标准互连协议，旨在提高CPU与加速器、内存和智能I/O设备之间的通信效率。
• 发展历程：自2019年发布以来，CXL经历了多个版本的迭代，增加了如Memory Pooling、单Switch互联、支持PCIe6.0、引入结构管理等功能，以解决异构设备的访存/缓存一致性问题。
• CXL协议结构：由CXL.io、CXL.cache和CXL.mem三种子协议组成，分别负责发现、交互和内存访问，提供全面的通信解决方案。
• 应用场景：CXL适用于CPU与GPU、智能网卡等设备的互联，以及内存带宽和容量的扩展，旨在提高计算系统的整体性能和效率。

拓扑优化与架构探索

• 拓扑优化：推荐采用交换拓扑（Switch）来实现GPU之间的高速互联，以支持百张卡级别的通信连接。
• S²架构：构建基于交换拓扑的“S²（Super Server）”架构，作为未来AI基础设施的演进方向，实现更高效率的数据读写和更灵活的拓扑连接。
• 统一内存池：通过构建CPU和GPU间的统一内存池，减少数据搬运，简化模型训练过程，提高训练效率。

产业推进

• CXL技术准入：联合产业界制定严格的CXL技术准入验证要求，以确保CXL产品的高质量和市场适应性，推动技术的广泛应用。
• 测试规范：提供详细的测试规范，覆盖CXL环境、物理测试、协议层测试、性能测试等多个方面，确保CXL技术的一致性和互操作性。

结论

面向新型智算中心的技术探索聚焦于解决算力与I/O之间的不平衡、内存压力与计算效率的挑战，通过CXL互联技术的深入研究与应用，旨在构建高性能、低延迟的计算基础设施，支持万亿参数级别的大规模模型训练与推理，同时推动产业界的合作，共同推进CXL技术的发展和应用。