2022闪存市场全景白皮书

CON目T录ENTS 01闪存介质层 1.1NAND层数进化，成本降低不如预期05 1.2QLC不是主流SSD被写穿需预防06 1.3全新存储介质3DXPoint08 1.43D堆叠必争制高点09 1.5GB/$的考验10 1.6中国元素11 02闪存控制器 2.1OpenChannel的话题14 2.2高性能还是低功耗15 2.3分区存储技术的最新发展16 2.4磁盘和NVMe18 03闪存设备SSD盘 3.1企业级SSD与消费级SSD的区分21 3.2企业级SSDPCIe4.0新时代23 3.3端到端NVMe24 3.4傲腾需要区分为SSD、Memory26 3.5Z-NAND与XL-Flash没有更新的进展26 3.6计算型SSD和存算一体化27 04闪存存储系统 4.1SCM：全闪存存储的重要组成部分30 4.2分布式全闪存阵列31 4.3NVMe-OF32 4.440+wSSD的新时代33 4.5数据存力和闪存36 4.6数据备份拥抱全闪存阵列38 4.7高性能计算和AI存储方案39 05结束语 06附录 01 闪存介质层 1.1NAND层数进化，成本降低不如预期 1.2QLC不是主流SSD被写穿需预防 1.3全新存储介质3DXPoint 1.43D堆叠必争制高点 1.5GB/$的考验 1.6中国元素 1.1NAND层数进化，成本降低不如预期 最早的3DNAND要追溯到2007年东芝的一次发布，而真正将3DNAND商业化应用的其实是三星在2013年的发布，从2013年起，3DNAND作为最具突破性的技术开始推向市场，揭开了闪存介质容量提升的新时代。 从2D到3D的变化，为闪存容量提升带来新变数，从2D平房到3D楼房的演进下，层的概念成为介质进化的新标准。也是从3DNAND开始，制程工艺的演进显得并不那么重要了。 3DNAND路线图（图源：TechInsights） 从最初的32层开始，到64层大约经过了三四年的时间，2019年前后，96层NAND开始出现，2020年进入200+层时代，从128层开始，3DNAND告别了32整数倍的演进，开始出现162、176层的差别。 高层堆叠的NAND技术推动了容量发展和闪存普及的步伐，让闪存在更多场景得到应用，在一定程度上，是3DNAND的出现拉开了闪存普及的大幕。3DNAND颗粒层数不断推高，GB/$成本势必会不断降低，缩短闪存SSD和磁盘的差价，但从市场的演进看，闪存SSD成本是在逐步降低，但是速度不如预期，究其原因和产能、良品率等很多因素有关。如今，闪存SSD产能被少数品牌把持，受产能限制，大幅度降价未必符合这些厂商的利益，从这个意义上，中国元素的崛起，符合全球市场的利益。 3DNAND的堆叠技术方案有两大派系，一种是浮栅技术（Floatinggate），另外一种是电荷撷取（ChargeTrap）技术。 浮栅技术的上下单元之间是分离的，而电荷撷取技术上下层之间是连通的，两者都是几十层水平时，差异不大，当变为几百层之后，采用电荷撷取技术的NAND上下电荷之间会发生串扰，造成数据不可靠。而浮栅技术虽然工艺更复杂一些，但是在数据保留方面更可靠一些，浮栅技术在层数发展上更有前景。 1.2QLC不是主流SSD被写穿需预防 2014年开始，TLCNAND开始在市场上大范围出现，所谓TLC是指每个单元（Cell） 中存储3个Bit，当时的主流还是MLC（每个单元中存储2个Bit），再往前看还有SLC（每 个单元中存储1个Bit），随着每个单元存储的数据增多，容量得到提升，作为代价的是，性能和耐久性都有所损失。 从MLC到TLC转变过程中，人们最大的关注点还在于介质耐久性的降低，随着时间的推移，技术上的进步最终掩盖了介质上的差距，过去八年以来，TLC逐渐成为主流，从2018年QLC开始出现，介质耐久性又一次降低。 有数据显示：从SLC-MLC-TLC-QLC，其可擦写寿命P/E（Program/Erasecycle，一次完整NAND全盘写入）从10万次、3000~1万次、300~1000次、100~150次一路走低，编程复杂性的提升，读写速度，特别写速度不断降低。 特别是QLC，耐久度已经降低到100~150次，对于消费类用户来说，高清视频等存储的需求，主要集中在大容量、低成本，写满一次磁盘需要较长时间，频繁擦写的情况并不多见，因此P/E100是可以满足需求的。对于QLC大容量SSD盘来说，应该没有足够的数据，将全盘写满100次，且写满100次也需要很长的时间。 在消费级市场，很少听说SSD被写穿现象。 但在企业级市场就不一样了，不仅数据频繁采写，企业级SSD对于数据的可靠性、安全性要求更高，不能够容忍任何的数据丢失。如今，企业级市场，出现了SSD被写穿的现象。这个现象背后，应该有类似QLC耐久度不高的问题，也有软件、调度、监管和控制的问题。针对NAND颗粒耐久度，在SSD盘固件设计上，就有磨损均衡设计，尽可能将数据均匀散步在各个颗粒，避免局部热点的出现。此外，外部存储系统在设计上，会使用多个SSD盘，用户的数据也会被条带化，均匀分布到各个SSD盘，一来通过并行存取提高性能，二来提高可靠性，防止局部热点所导致的SSD被写穿。 总而言之，无论SSD盘，还是存储系统，有很多的技术手段来预防局部热点，防止SSD被写穿。人尽其才，物尽其用。 当企业级用户出现SSD被写穿的时，还是应该认真分析问题的缘由，是否为了追求价格忽略了应用场景和耐久度的问题。总的来看，QLC适合一次写入、多次读取的应用场景，并不适合频繁的写入，这也是QLC没有成为主流存储的原因。 另外需要引起关注的：最新技术表明，无论是TLC还是QLC，在可擦写寿命P/E上都取得了明显的技术进步，分别从300~1000次、100~150次，提高到了3000~7000次、1000~3000次，虽然不了解具体做了哪些技术改进，但是可以肯定的是，PE的提升就为企业级应用提供了良好的保障，与此同时，提高GB/$，降低闪存介质的使用门槛。如今，在很多的用户业务场景，如容灾备份等也开始接受全闪存配置，这应该是技术进步带来的成果。 1.3全新存储介质3DXPoint 2015年，兼具高性能和非易失性两种特性的3DXpoint问世，介绍资料显示，其 速度比NAND闪存快1000倍以上，耐久性也远胜于NAND介质，可满足企业对高性能、高耐用性、低成本固态盘解决方案的需求。 3DXPoint的工作原理与NAND存在着根本性的不同。NAND工作原理是将电子来回移动于晶体管中的一个独立部分——称之为“浮空栅”来表示二进制中的0和1，这种技术带来的问题是它不能随时重写单个比特单元的数据，需要采用块擦除，然后全部进行重写；3DXpoint则是改变材料本身的性质，通过一个高电阻的电信号来代表1，一个低电阻信号来代表0，这意味着每个存储单元可以被单独寻址，从根本上加快了执行效率。由于3DXPoint将材料熔化或凝固来存储数据，因此比NAND耐用性提高了数百倍。 3DXPoint作为一种创新介质，区别于RAM内存和NAND存储芯片，性能和成本上的表现介于两者之间，有许多观点认为，RAM内存与NAND芯片之间的差距比较大，导致整体架构上的数据流动受限，而3DXPoint则填补了中间的空白地带。 作为3DXpoint的开发者，美光和英特尔都将其进行了商业化应用，在实际使用中，3DXpoint技术可以改善个人计算的体验，还可以用来打造高性能、高容量的储存解决方案，与内存（DRAM）相比密度高出10倍，而成本又远低于DRAM内存，这意味着可以输出更高的存储容量和更快的访问速度。 1.43D堆叠必争制高点 全球3DNAND市场竞争是一场技术赛跑，其中，堆叠层数被视为一个制高点。 进入2022年，堆叠层数已经来到200+的门槛，已经宣布的有162、176层产品量产，长江存储128层实现量产，500+、1000+的方案也在规划中。目前市场上有两种堆叠方式：字符串堆叠（Stringstack）和单一堆叠（Singlestack），各有利弊。 单一堆叠（Singlestack）相当于原生垂直堆叠1xx+，仅一道工序，有成本优势。但是制程复杂度随层数攀升不断加大，蚀刻和沉积最终可能导致裸片良品率下降，包括交叠层厚薄不均、蚀刻不彻底（打孔未到达底部）、弯曲、扭曲及线宽变化，其间电子垂直通过的迁移率也在随层数增加而更加不可控。 而字符串堆叠（Stringstack，目前主要指双层堆叠），制程复杂度相对较低，只要拥有48层或者64层技术，那么实现96（2*48）层、128（2*64）层不是梦，还降低了打孔的蚀刻深度，良品率不会受到影响，但需要两道工序，会增加30％+的成本。 值得一提的是长江存储的Xtacking技术，这是一种晶圆键合（Waferbonding）而非堆栈方式。一片晶圆上加工负责数据I/O及记忆单元操作的外围电路，另一片晶圆上加工存储单元，最终通过数百万根金属VIA(垂直互联通道)将二者键合接通电路。 目前，字符串堆叠方式在市场上较为普遍。 1.5GB/$的考验 GB/$将是NAND跨越磁盘成为主流存储介质最直接的考验，为此，技术上一是 堆叠晶圆的层数；二是增加单位单元存储比特位数量。层数增加，意味着制程复杂性和处理时间依次增加，裸片良率可能大大下降继而导致产量下降。 国际分析机构富国银行的分析师JoeQuatrochi提到了晶圆上蚀刻通道的纵横比问题，预计96层设备的纵横比约为70：1（对应64层是60：1），纵横比会随着层数增加而提升。3DNAND的垂直堆叠属性逐渐依赖蚀刻工艺的精度平衡更高的纵横比，此外，通过沉积实现晶圆上薄膜的一致性也更加困难。 128层单层蚀刻时间约是96层蚀刻时间的2倍。想象一下自己的机器用之前两倍的时间制造晶圆，通过增加层数让每个裸片容量增加约30％，实际发售容量是否真的增加了？为了增加产能还要开设或者更新更多的生产线乃至最后建立新的晶圆厂，这部分的投资数额通常要以百亿美元来计算。 从SLC到MLC（每单元存储2个比特位），100％容量增加，到TLC是50％容量增加。但转向QLC就意味着33％的容量提高，到PLC（每单元5个比特位）则是容量增加25％，下次可能只是20％增长。此外，从TLC到QLC再到PLC耐久性越来越差，为此SSD要做超额配置（Over-provisioning），通过预留空间(extracells)替换故障的单元，耐用性越低，超额配置就得更多。 为了用上更高级的NAND技术，有许多介质以外的许多成本。比如，需要通过重构标准SSD外形尺寸增加NAND裸片数来提升可用物理空间，需要通过控制器误差校验技术减少错误，减少随机写入并且做更多超额配置（OP）来延长正常使用寿命。 考虑到以上各种NAND裸片问题，厂商为了产能与利润的平衡要做出自己的决策，于是，便导致SSD容量增速放缓，下图是富国银行通过层数呈现的市场发货量随时间发生的变化。 与64/72层NAND相比，64层3DNAND在发布4个季度后占当时闪存发货量的67%，而96层NAND达到了这样的发货量需要更长的时间。100层以上NAND第一次迭代同样需要更长的时间。所以说，SSD容量增速放缓。 1.6中国元素 截止2021年，中国大陆在全球晶圆产能中的份额达到16%，仅次于韩国和台湾 地区。这个数字在2011年仅为9%。较低的建设和运营成本是中国近期晶圆产量增长的主要原因。SIA和波士顿咨询集团于2021年发布的一份报告显示，在中国建造和运营晶圆厂的成本低于任何其他国家。 在过去两年里，中国大陆的晶圆产能几乎每年要增长1个百分点，产能扩张速度 比其他任何地方都快。截至2021年底，全球IC晶圆产能达到每月2160万片200毫 米当量晶圆。中国大陆的晶圆厂在其中拥有处理约350万片晶圆的产能。 但根据KnometaResear