2023闪存技术应用全景白皮书

CON目T录ENTS 01闪存介质层 1.1200+NAND层数进化，奠定成本降低的基础05 1.2QLC寿命进化到3000-5000PE07 1.33D堆叠必争制高点09 1.4GB/$的考验10 1.5中国元素11 02闪存控制器 2.1OpenChannel的话题15 2.2高性能还是低功耗？16 2.3分区存储技术的最新发展17 2.4磁盘和NVMe20 03闪存设备SSD盘 3.1企业级SSD与消费级SSD的区分2.2高性能还是低功耗？23 3.2拥抱PCIe6.025 3.3端到端NVMe28 3.4Z-NAND与XL-Flash没有更新的进展29 3.5计算型SSD和存算一体化30 04闪存存储系统 4.1SCM：全闪存存储的重要组成部分33 4.2分布式全闪存阵列33 4.3NVMe-OF35 4.440+wSSD的新时代36 4.5数据存力和闪存39 4.6数据备份拥抱全闪存阵列41 4.7高性能计算和AI存储方案43 4.8即将掀起数据中心架构变革的CXL43 05结束语 01 闪存介质层 1.1200+NAND层数进化，奠定成本降低的基础 1.2QLC寿命进化到3000-5000PE 1.33D堆叠必争制高点 1.4GB/$的考验 1.5中国元素 1.1200+NAND层数进化，奠定成本降低的基础 最早的3DNAND要追溯到2007年东芝的一次发布，而真正将3DNAND商业化应用的其实是三星在2013年的发布，从2013年起，3DNAND作为最具突破性的技术开始推向市场，如今200+已经成为了3DNAND层数堆叠的常态，没有200+的水平，都不好意思说自己是3DNAND，谈不上有什么竞争优势。 从2D到3D的变化，为闪存容量提升带来新变数，从2D平房到3D楼房的演进下，层的概念成为介质进化的新标准。也是从3DNAND开始，制程工艺的演进显得并不那么重要了。 从最初的32层开始，到64层大约经过了三四年的时间，2019年前后，96层NAND开始出现，2020年进入200+层时代，从128层开始，3DNAND告别了32整数倍的演进，开始出现162、176层的差别。 高层堆叠的NAND技术推动了容量发展和闪存普及的步伐，让闪存在更多场景得到应用，在一定程度上，是3DNAND的出现拉开了闪存普及的大幕。3DNAND颗粒层数不断推高，GB/$成本势必会不断降低，缩短闪存SSD和磁盘的差价，但从市场 3DNAND路线图（图源：TechInsights） 的演进看，闪存SSD成本是在逐步降低，但是速度不如预期，究其原因，与三星、凯侠、美光等大厂对市场的把持有关，闪存颗粒并不是一个充分竞争的市场，受产能等很多因素的影响，大幅度降价未必符合厂商利益。从这个意义上，中国元素的崛起，有助于全球市场的发展。 3DNAND的堆叠技术方案有两大派系，一种是浮栅技术（Floatinggate），另外一种是电荷撷取（ChargeTrap）技术。如今ChargeTrap技术已经成为市场的主流。 浮栅技术的上下单元之间是分离的，而电荷撷取技术上下层之间是连通的，两者都是几十层水平时，差异不大，当变为几百层之后，采用电荷撷取技术的NAND上下电荷之间会发生串扰，造成数据不可靠。而浮栅技术虽然工艺更复杂一些，但是在数据保留方面更可靠一些，浮栅技术在层数发展上更有前景。 1.2QLC寿命进化到3000-5000PE 2014年开始，TLCNAND开始在市场上大范围出现，所谓TLC是指每个单元（Cell）中存储3个Bit，当时的主流还是MLC（每个单元中存储2个Bit），再往前看还有SLC（每个单元中存储1个Bit），随着每个单元存储的数据增多，容量得到提升，作为代价的是，性能和耐久性都有所损失。 从MLC到TLC转变过程中，人们最大的关注点还在于介质耐久性的降低，随着时间的推移，技术上的进步最终掩盖了介质上的差距，过去八年以来，TLC逐渐成为主流， 从2018年开始，QLC开始出现，介质耐久性又一次降低。 有数据显示：从SLC-MLC-TLC-QLC，其可擦写寿命P/E（Program/Erasecycle，一次完整NAND全盘写入）从10万次、3000~1万次、300~1000次、100~150次一路走低，编程复杂性的提升，读写速度，特别写速度不断降低。 特别是QLC，耐久度已经降低到100~150次，对于消费类用户来说，高清视频等存储的需求，主要集中在大容量、低成本，写满一次磁盘需要较长时间，频繁擦写的情况并不多见，因此P/E100是可以满足需求的。对于QLC大容量SSD盘来说，应该没有足够的数据，将全盘写满100次，且写满100次也需要很长的时间。 在消费级市场，很少听说SSD被写穿现象。 但在企业级市场就不一样了，不仅数据频繁采写，企业级SSD对于数据的可靠性、安全性要求更高，不能够容忍任何的数据丢失。如今，企业级市场，出现了SSD被写穿的现象。这个现象背后，应该有类似QLC耐久度不高的问题，也有软件、调度、监管和控制的问题。针对NAND颗粒耐久度，在SSD盘固件设计上，就有磨损均衡设计，尽可能将数据均匀散步在各个颗粒，避免局部热点的出现。此外，外部存储系统在设计上，会使用多个SSD盘，用户的数据也会被条带化，均匀分布到各个SSD盘，一来通过并行存取提高性能，二来提高可靠性，防止局部热点所导致的SSD被写穿。 总而言之，无论SSD盘，还是存储系统，有很多的技术手段来预防局部热点，防止SSD被写穿。人尽其才，物尽其用。 当企业级用户出现SSD被写穿的时，还是应该认真分析问题的缘由，是否为了追求价格忽略了应用场景和耐久度的问题。总的来看，QLC适合一次写入、多次读取的应用场景，并不适合频繁的写入，这也是QLC没有成为主流存储的原因。 另外需要引起关注的：最新技术表明，无论是TLC还是QLC，在可擦写寿命P/E上都取得了明显的技术进步，分别从300~1000次、100~150次，提高到了3000~7000次、1000~3000次，虽然不了解具体做了哪些技术改进，但是可以肯定的是，PE的提升就为企业级应用提供了良好的保障，与此同时，提高GB/$，降低闪存介质的使用门槛。如今，在很多的用户业务场景，如容灾备份等也开始接受全闪存配置，这应该是技术进步带来的成果。 1.33D堆叠必争制高点 全球3DNAND市场竞争是一场技术赛跑，其中，堆叠层数被视为一个制高点。进入2022年，堆叠层数已经来到200+的门槛，已经宣布的有162、176层产品量产，长江存储128层实现量产，500+、1000+的方案也在规划中。目前市场上有两种堆叠方式：字符串堆叠（Stringstack）和单一堆叠（Singlestack），各有利弊。 单一堆叠（Singlestack）相当于原生垂直堆叠1xx+，仅一道工序，有成本优势。但是制程复杂度随层数攀升不断加大，蚀刻和沉积最终可能导致裸片良品率下降，包括交叠层厚薄不均、蚀刻不彻底（打孔未到达底部）、弯曲、扭曲及线宽变化，其间电子垂直通过的迁移率也在随层数增加而更加不可控。 而字符串堆叠（Stringstack，目前主要指双层堆叠），制程复杂度相对较低，只要拥有48层或者64层技术，那么实现96（2*48）层、128（2*64）层不是梦，还降低了打孔的蚀刻深度，良品率不会受到影响，但需要两道工序，会增加30％+的成本。 值得一提的是长江存储的Xtacking技术，这是一种晶圆键合（Waferbonding）而非堆栈方式。一片晶圆上加工负责数据I/O及记忆单元操作的外围电路，另一片晶圆上加工存储单元，最终通过数百万根金属VIA(垂直互联通道)将二者键合接通电路。 目前，字符串堆叠方式在市场上较为普遍。 1.4GB/$的考验 GB/$将是NAND跨越磁盘成为主流存储介质最直接的考验，为此，技术上一是堆叠晶圆的层数；二是增加单位单元存储比特位数量。层数增加，意味着制程复杂性和处理时间依次增加，裸片良率可能大大下降继而导致产量下降。 国际分析机构富国银行的分析师JoeQuatrochi提到了晶圆上蚀刻通道的纵横比问题，预计96层设备的纵横比约为70：1（对应64层是60：1），纵横比会随着层数增加而提升。3DNAND的垂直堆叠属性逐渐依赖蚀刻工艺的精度平衡更高的纵横比，此外，通过沉积实现晶圆上薄膜的一致性也更加困难。 128层单层蚀刻时间约是96层蚀刻时间的2倍。想象一下自己的机器用之前两倍的时间制造晶圆，通过增加层数让每个裸片容量增加约30％，实际发售容量是否真的增加了？为了增加产能还要开设或者更新更多的生产线乃至最后建立新的晶圆厂，这部分的投资数额通常要以百亿美元来计算。 从SLC到MLC（每单元存储2个比特位），100％容量增加，到TLC是50％容量增加。但转向QLC就意味着33％的容量提高，到PLC（每单元5个比特位）则是容量增加25％，下次可能只是20％增长。此外，从TLC到QLC再到PLC耐久性越来越差，为此SSD要做超额配置（Over-provisioning），通过预留空间(extracells)替换故障的单元，耐用性越低，超额配置就得更多。 为了用上更高级的NAND技术，有许多介质以外的许多成本。比如，需要通过重构标准SSD外形尺寸增加NAND裸片数来提升可用物理空间，需要通过控制器误差校验技术减少错误，减少随机写入并且做更多超额配置（OP）来延长正常使用寿命。 考虑到以上各种NAND裸片问题，厂商为了产能与利润的平衡要做出自己的决策，于是，便导致SSD容量增速放缓，下图是富国银行通过层数呈现的市场发货量随时间发生的变化。 与64/72层NAND相比，64层3DNAND在发布4个季度后占当时闪存发货量的67%，而96层NAND达到了这样的发货量需要更长的时间。100层以上NAND第一次迭代同样需要更长的时间。所以说，SSD容量增速放缓。 1.5：中国元素 截止2021年，中国大陆在全球晶圆产能中的份额达到16%，仅次于韩国和台湾地区。这个数字在2011年仅为9%。较低的建设和运营成本是中国近期晶圆产量增长的主要原因。SIA和波士顿咨询集团于2021年发布的一份报告显示，在中国建造和运营晶圆厂的成本低于任何其他国家。 在过去两年里，中国大陆的晶圆产能几乎每年要增长1个百分点，产能扩张速度比其他任何地方都快。截至2021年底，全球IC晶圆产能达到每月2160万片200毫米当量晶圆。中国大陆的晶圆厂在其中拥有处理约350万片晶圆的产能。 但根据KnometaResearch的报告，中国大陆约有一半的晶圆产能，都归属其在大陆以外地区的母公司，包括台积电、联电、三星和SK海力士等。 中国作为全球第二大经济体国家，所取得的进步和成就世所瞩目；经济实力的增长，需要中国对于全球经济发展和科技进步有所贡献。从技术发展看，全球NAND制造正在从2D走向3D，对于半导体制程工艺技术的要求有所降低，所使用的是落后一代半左右的技术，这也是目前中国所掌握的技术。因此无论是自身的实力，还是人类社会发展前所未有的需求，中国都有能力也有义务作出自己的贡献。 长江存储早在2020年中就已筹建存储基地项目二期，目前正在加速推进，预计未来两年就能投产，其二期项目的月产能为20万片，一期项目为10万片，如此两年多之后NANDflash芯片产能将增加两倍。 产能方面，长鑫也不甘落后。公开资料显示，长鑫在2020年、2021年分别实现了4.5万片晶圆/月、6万片晶圆/月的目标，2022年的产能目标是12万片晶圆/月，未来的产能目标是30万片晶圆/月。 截止2021年，全球DRAM总产能大约是150万片／月，预测到2022年底，会提升至160万片／月左右，届时长鑫存储的12万片产能将获得全球市场份额的8% 左右。 中国存储力量的快速崛起，对于全球市场而言，将是一幅美好的画卷。全球闪存市场会因为中国变得更加美丽。