华为存算分离专家交流–20231019

华为存算分离专家交流 时间：2023年10月19日 本次会议邀请华为存储领域的专家进行了充分的交流。 存算分离技术介绍： 数据处理需要计算设备和储存设备。传统存储是存算一体的部署策略，数据在本地盘，好处是数据离CPU比较近，能够快速读写数据；坏处是计算和存储资源绑定，不利于在大数据时代的数据管理。 华为存算分离专家交流 时间：2023年10月19日 本次会议邀请华为存储领域的专家进行了充分的交流。 存算分离技术介绍： 数据处理需要计算设备和储存设备。传统存储是存算一体的部署策略，数据在本地盘，好处是数据离CPU比较近，能够快速读写数据；坏处是计算和存储资源绑定，不利于在大数据时代的数据管理。而且可能出现可靠性问题，因为计算存储都在一起，所以服务器出问题导致数据出问题。数据存在本地盘一般采取一主多备，如果要保持数据一致性，需要许多数据同步工作。存算一体的缺点：1）可靠性不行；2）同步程序复杂；3）资源消耗大；4）数据利用效率不高。 存算分离是大势所趋，常见的计算由服务器完成，数据用外部存储，通过集中式、分布式或其他形态，特别在大数据、AI时代的数据量膨胀很快，所以采用分离架构。在分离结构下，计算和存储都可以按最优的形式进行，比如计算做集群或分布式计算不用考虑数据储存问题；数据也可以按最有利的方式去存储，结构化、非结构化、分布式的各种形式，按照数据读写的效率提升，降低资源的占用，提高数据的安全性等最有利的方式去做。优点：可靠性提升、资源灵活分配、专业级容灾，数据复用。 典型产品是企业的外置存储设备，现有主流的厂商有华为、浪潮、同有、新华三。Q：存算分离技术难点？以前为什么不用？A：以前数据量小，存算一体比较方便，计算和存储很近，且集中式架构简单。 存算分离的难点：1）数据量需要外置，访问数据需要网络，早期网络带宽较低，网络没有服务器内部总线速度快，外置读写效率较低；2）存储介质不如现在SSD的性价比，以前SSD很难做到规模化，只有最热的数据用系统盘，大量的数据使用机械硬盘，导致可靠性问题。外置机械硬盘会有故障率，规模化导致整体可靠性降低；3）当时没有使用MPP分布式架构，包括大数据Hadoop架构可以支持操作更大的数据，在数据到PB以后必须存算分离，进行层层分离，专人管理。 Q：冷数据是否才进行分离？热数据仍然一体管理？ A：对。数据一般分为冷热温三种，最特别的数据一般放在服务器内存里，甚至在CPU的高速缓存层操作。温冷数据更推荐存算分离，放外置存储设备里管理。随着热数据膨胀到一定规模，服务器内部的高速缓存能做到T级别。现在也有热数据采取外置，依赖于提高访问的速率。比如，内存直接访问RDMA，虽然外置数据，实际可以接近CPU直接访问内存的效果，保证数据访问足够快。整体来说，最热的数据还是离CPU最近，搁在高速缓存或者内存里面，再其次放在服务器附带的闪存盘，再其次是硬盘。 Q：随着分布式存储的市占率提高，存算分离是不是更适合分布式存储？A：分布式存储必然存算分离，集中存储更方便进行各种数据的管理，但是带来扩容问题。只有分布化才能做的更大，不需要通过系统。分离架构可以考虑并发的操作，读写更大规模的数据。在数据爆炸的时代，必然是存算分离。 Q：存算分离场景？ A：数据库，早期是存算一体，现在都分布式化了，比如金融行业，现在改造由集中式向分布式改造。 大数据，规模更大，传统数据库是TB级别，大数据一般是PB级别。使用存算一体会造成大量计算资源浪费。云计算，云化数据包括客户数据和自身虚拟化数据，数据和虚拟机绑定，所以必然分离进行管理。 高性能计算HPC，数据量很大，需要根据数据密集程度进行分离。Web应用，将前端客户应用操作和后端数据进行分离。Q：拆下产业链和玩家？行业难点在哪？ A：有华为、浪潮、同有、新华三，难点是技术门槛比较高：1）存算分离架构，需要通过软件、硬件构成整体的效率、稳定性、可靠性，需要很多年的研发经验和技术积累，需要对介质、存储协议、芯片、算法需要全面的了解。需要长期的积累才能做到最优状态。有的玩家会研发控制芯片和介质芯片，提高产品的自主可控能力与自身架构达成最优的效果2）算法，偏向软件层面，比如落盘算法，数据读写就是效率、可靠性、稳定性，把性能波动对业务的影响，降低到最低，这里面有很多算法。需要很多技术积累。 全产业链的厂商更能做存算分离的设备。比如，同有面向行业的产品做到最优，在军工，保密行业存储，独有的加密算法也很讲究，也能在细分市场做到极致。 Q：存算分离市场空间？ A：企业外部存储中国市场规模大概600多亿，每年增长大概平均20%。Q：如何评价华为的产品？ A：金融行业由于数据量膨胀，需要对数据库改造，用国产化分布式数据库，通过存算分离可以提高整体的能力，可以满足金融核心数据库演进的需要。华为、浪潮、同有、新华三都在做这类的研发。 Q：存储增量会提升吗？ A：是的，随着数据的膨胀，对应存储设备必然增长。比如金融行业的很多银行数据基本上要50年以上，意味着市场一直在增长。市场增长意味着可以卖更多的存储设备和更多的存储介质，像金融行业为代表的行业，越来越多用国产化的自主可控的存储的设备和介质，对厂家都是利好。国内存储领域在政府、金融、教育、医疗，还有央国企和运营商，也有很多机会。包括信创工程也有更多的机会，必须进入国家相关名录，比如同有。存储介质也要国产化忆恒、长江、紫光也都是受益的。