人工智能对存储的影响

AI对存储的影响

AI发展趋势与挑战

• 数据点呈指数级增长，用于训练大型AI系统，数据中心NAND比特需求持续上升。
• AI应用从训练向推理（Token/sec和Token/$）转变，重点关注生成式AI、边缘AI和物理AI。

SSD产品四大发展方向

1. 生成式AI推动SSD发展：AI技术演进加速了SSD产品方向。
2. NVIDIA Storage-Next：GPU内存扩展
   • 解决HBM扩展限制和高成本问题。
   • 支持更大规模数据集（10x–100x提升）。
   • 特性：GPU发起I/O（NVIDIA SCADA软件栈）、NVMe/PCIe®、512字节细粒度I/O、超高性能IOPS（~200M IOPS/GPU）。
3. 近GPU缓存
   • 解决小数据访问在高速网络中的低效问题。
   • 大规模高效数据传输从数据湖到缓存，小读请求由本地SSD服务。
   • CPU发起I/O。
4. NVIDIA ICMS（推理上下文内存存储平台）
   • 为KV缓存提供存储平台。
   • 使用PCIe® Gen5/Gen6 TLC NVMe SSD，Kioxia正在与NVIDIA合作明确需求。

SSD高层需求

• 512B随机读优化
  • 新ECC布局、并发需求。
  • 案例：25M IOPS需40nS/IO，45uSec读需1125并行IO，25uSec读需625并行IO。
• 提升耐久性
  • 工作负载特性变化，pSLC和pMLC需求增加。
  • 通过过配置和缓存/长期存储分层解决，耐久度从3 DWPD提升至100 DWPD。
• 高队列深度
  • 调度影响、队列头阻塞、延迟问题。
• 液冷技术
  • 功耗控制和数据中心效率提升。
• 多发起者访问
  • 直接文件系统数据访问、LBA范围授权、授权映射、快速路径执行。
• 更大容量
  • 数据增长趋势驱动，pSLC和pMLC应用。

Kioxia解决方案

• 开发符合NVIDIA Storage-Next标准的SSD。
• 超级高性能IOPS SSD（KIOXIA GP系列）
  • 软件栈支持，与KIOXIA GP系列进行系统研究。

高IOPS模拟器计划

• 阶段1（2025年8月）：单实例140M IOPS（GH200系统）。
  • 预备条件：GH/GB系统，X86 GPU系统因带宽窄无法达到100M IOPS。
• 阶段2（2025年9月）：模型设备性能模拟。
  • 添加IO执行合成延迟，动态延迟调整，遥测和IO计数器。
• 阶段3（2025年9月后）：SCADA运行测试。
  • 应用实验（分析SCADA下应用行为）和设备实验（分析超100M IOPS的SCADA IO特性）。

PCIe带宽扩展挑战

• 高带宽与更短互连长度之间的矛盾。