DRAM技术扩展以满足未来需求：挑战与机遇

ISCA ’25 Tutorial: Scaling DRAM Technology to Meet Future Demands – Challenges & Opportunities

市场和历史

• DRAM 技术的核心是 1T1C 位单元，通过电容存储电荷代表 0 或 1。
• DRAM 具有低功耗、快速唤醒和掉电、低剖面等特点，适用于移动、数据中心和图形市场等不同领域。
• 数据中心中，内存是主要成本部分，且资源利用率低，因此需要可组合的基础设施以降低总拥有成本 (TCO)。
• 随着计算需求的增长，内存容量和带宽必须持续扩展，以满足人工智能 (AI) 等新兴应用的需求。

DRAM 架构

• DRAM 架构包括核心和外围电路，核心由位单元、阵列、数据路径和接口组成。
• 核心通过行和列解码器访问位单元，并通过局部和全局 sense-amp 电路进行读/写操作。
• DRAM 架构通过共享资源（如 sense-amp 电路）来提高位单元效率，并通过多组银行 (bank) 和银行组 (bank group) 来实现并行访问。
• 感应裕量 (sensing margin) 是指 sense-amp 电路能够可靠地区分相邻位单元电荷差异的能力，它受到漏电、电容比、噪声和 sense-amp 电路失配等因素的影响。
• DRAM 尺放面临挑战，如电容尺寸接近保持时间极限、字线 (WL) 电阻接近时序极限，以及位单元间距缩小导致的相邻行干扰问题。
• 垂直堆叠 DRAM (VS DRAM) 通过 z 轴维度缓解了尺寸限制，而位单元跨外围 (cell-over-peri) 架构将位单元和核心外围电路分别制造并键合，进一步提高了位单元效率。

DRAM 接口

• DRAM 接口通过 I/O 引脚与主机 (CPU 或 GPU) 通信，包括命令、地址和数据信号。
• DRAM 接口采用源同步非匹配时钟方式，使用差分时钟和单端数据，并通过训练操作进行时序优化。
• DRAM 接口通过 tDQSS、tDSH、tISH 和 tDQSQ 等参数定义时序约束，以确保可靠操作。
• DRAM 接口通过 ECC 和链路保护技术提高数据完整性和可靠性。
• 新兴 DRAM 接口包括高带宽内存 (HBM) 和 GDDR7PAM3，HBM 通过减少 CIO、提高训练性能和简化 I/O 设计来提高带宽，GDDR7PAM3 则采用多电平信号 (PAM3) 提高每引脚数据速率。

未来内存解决方案

• 为了满足不断增长的带宽和容量需求，内存厂商提供了多种解决方案，包括：
  • 定制 HBM：通过 SiP 结构将缓冲芯片和多个核心芯片集成在一起，实现高性能和高密度。
  • MRDIMM：通过多路复用排 (MDB) 提高带宽，适用于内存密集型工作负载。
  • CAMM：基于 LPDDR 的模块解决方案，具有低功耗和高带宽的特点。
  • CXL 内存模块 (CMM)：通过 CXL 互连协议扩展内存容量和带宽，并实现内存池化和共享。
• 在内存中/近内存 (PIM/PNM) 解决方案中，通过在内存内部或附近嵌入处理单元来提高带宽和能效：
  • PIM：利用银行级并行性，通过在内存芯片中嵌入 ALU 来加速数据处理。
  • PNM：使用额外的芯片在内存包或模块内部进行数据处理，例如 Samsung 的 CXL-PNM 和 Marvell 的 Structera-A。

未来挑战

• 内存系统带宽在多核处理器和计算管道数量不断增加的情况下面临瓶颈，需要像 MRDIMM 这样的技术来提高带宽。
• 随着速度的提高，需要考虑更多的影响因素，如阻抗控制、返回电流路径控制和反射控制。
• 随着核心数量的增加，SRAM 缩放速度放缓，DRAM 在缓存层次结构中具有改进的机会。
• PIM 和 PNM 的商业化仍面临挑战，包括嵌入式处理单元的 PPA 分析、标准化、系统级优化、软件支持和应用范围等。
• 未来需要系统、处理器、内存和软件之间的紧密合作，以解决内存系统面临的挑战，并推动内存技术的持续发展。