AI算力中心液冷产业交流□会议要点□1、液冷技术标准与能效要求□·国内对IDC能效的评估标准主要以PUE(PowerUsageEffectiveness)为核心。国家 要求北方地区的新建数据中心PUE不高于1.2,南方地区不高于1.25,其他地区不高于1.3。 ·北京等地对PUE有更严格的要求,如北京要求新建数据中心PUE低于1.15,并在五年内实现100%碳中和,初期可再生能源供电比例不低于20%。 2、服务器散热方式与功耗管理□·服务器风扇功耗属于IT设备功耗,计算PUE时包括在内。风扇功耗不能从服务器中解耦,因此在PUE计算中算作IT功耗的一部分。 ·从风冷到液冷的选择主要取决于服务器的热密度和空间利用率。高热密度(如40千瓦以上)推荐使用冷板式液冷。 3、液冷与风冷的经济性比较□·液冷系统的成本比风冷高20%到30%,主要增加在液冷末端设备上,如冷板、重载机柜和管路等。 ·浸没式液冷的成本更高,主要因为浸泡液的高成本和频繁的补液需求。4、液冷技术的应用场景与发展趋势□·单柜热密度超过120千瓦时,冷板式液冷是最佳选择。相变式冷板和综合式液冷方案适用于更高热密度的场景。 ·超算中心通常采用浸没式液冷,因为其CPU热量分布较均匀,适合在小面积内堆叠更多芯片 。 5、液冷产业链与主要厂商□·国内液冷产业链分为IT厂商(如曙光、浪潮)、专业制冷供应商 (如英维克、依米康)和上游零部件供应商(如高栏、中航光电)。 ·曙光在液冷领域经验丰富,但其市场化能力和综合技术相对较弱。英维克在研发能力和产品成熟度上具有优势。 6、全球液冷市场与竞争格局□·台湾供应链主要服务于英伟达等IT厂商,提供服务器级别的零部件。美的等国内厂商则提供数据中心层面的整体解决方案。 ·英伟达的整机柜方案(如NVL72)采用冷板式液冷,单柜价值约4万美金,外部CDU等设备成本约30万美金。 7、国内液冷市场的未来展望□·国家队(如运营商和地方政府的计算中心)主要使用国产液冷解决方案,如华为和曙光。商业化组织(如BAT)则倾向于使用英伟达的解决方案。8、液冷技术的成本构成与价值量□·冷板的成本主要在于其加工工艺的复杂性,每千瓦成本约50 00到6000元。快接头的成本约300到500元一个。 9、其他技术细节□·冷板液冷系统中的冷却液消耗较少,主要用于循环,不需要频繁补液。浸没式液冷则需要频繁补液,年补液量约10%到20%。 ·冷板液冷系统的主要成本构成包括CDU、manyfold、二次管路和冷却塔等。Q&A□Q:产业界对于IDC的能效是如何定义的? A:国内对于能效的评估标准主要以PUE(PowerUsageEffectivenes s)作为核心标准。国家在“东数西算”工程中规定,北方的算力节点PUE需达到1.2,南方为1.25,其他地区新建的数据中心PUE不得高于1.3。此外,一些地方还会有 差异化的要求。例如,北京的新建数据中心PUE要求低于1.15,并且要求在五年内实现 百分之百的碳中和,初期可再生能源供电量不得低于20%。在水资源紧缺的地区,如内蒙古乌兰察布等地,对WUE(水使用效率)也有明确规定,甚至要求使用无水方案。Q:服务器内部的风扇等耗能设备的能耗是如何计入预算的? A:服务器内部的风扇等耗能设备的能耗通常会计入整体能耗预算中,而不是单独列出。这些设备的能耗会被包含在数据中心的总能耗评估中,以便更全面地衡量数据中心的能效。 Q:在PUE(电源使用效率)计算中,服务器风扇的功耗如何计算?A:服务器风扇的功耗算在IT侧,因为它属于服务器内部,不能从服务器中解耦出来。因此,在PUE计算时,服务器风扇的功耗是算在IT功耗中的。Q:在什么情况下需要从风冷升级到液冷? A:是否需要从风冷升级到液冷,主要取决于PDP(最大散热设计值)和空间相对性。如果芯片的PDP很高,但服务器空间较大,依然可以使用风冷散热。液冷通常在小空间内放置更多器件时才需要,比如国家级超算中心。在高密度计算环境下,如单柜热密度超过40千瓦,推荐使用冷板式液冷。冷板式液冷的制冷上限大约在120到130千瓦。Q:不同制冷方式的经济性如何比较? A:在IT制冷领域,基础设施造价成本的比例较低,通常占整个数据中心造价的5%左右。因此,制冷方式对整体经济性的影响较小。液冷比风冷的造价高25%到30%,主要增加在液冷 末端设备上。浸没式液冷的成本更高,单千瓦造价比冷板式液冷高一倍以上,主要由于浸泡液和补液成本高。总体来看,冷板式液冷是目前主流选择,每千瓦造价在3000到3500元左右 。Q:风冷和液冷的单千瓦成本分别是多少? A:风冷的单千瓦成本大约为2000多元。液冷在中国市场的单千瓦造价大约在3000到 3500元,包含一部分风冷和冷板的成本。Q:静默式液冷的成本是多少? A:静默式液冷的成本相较于以前单项经过的报价有所降低,现在大概在六七千块钱左右。这主要是因为我们现在使用的是合成油类的筋膜液,它比以前的氟化物要便宜一些。Q:如果采用降变式液冷,成本会有多大的增加?A:如果采用降变式液冷,成本会在普通相变的基础上增加50%到100%。这是因为静默式 相变是一个成本较高的方案,所以在商用化的数据中心领域中,基本上都是国家超算会使用。Q:在什么情况下会使用静默式液冷,以及对未来这个产业的发展有何看法?A:选择使用静默式液冷 主要是看单位的热密度。如果单位热密度在120千瓦这个冷量段上,单向式冷板是最好的。因 为单向式冷板的产业链成熟度比较高,大规模生产质量可控,故障率在一定程度之下。但是,单向式静默的最大短板是它的散热不均匀。如果发热比较集中,那么单向式静默就不是好的方案。因此,这个产业的发展趋势可能会考虑一些混合的方式,比如相变式冷板加上浸没式的综合式液冷方案。Q:直接芯片级的冷板相对于普通的冷板来说,它的单千瓦成本是如何变化的?A:直接芯片级的冷板 ,也就是我们中国说的冷板,它的成本要分两部分。第一部分是基础设施侧,大概会比风冷增加20%到25%。第二部分的成本增加在服务器里边,因为需要额外增加的coflat,这个 部分的成本大概是每千瓦在5000到6000块钱左右。Q:为什么超算需要使用高功率密度的冷却方式,而不能像普通计算那样通过增大房间或者增加机器来解决? A:超算的结构决定了它需要使用高功率密度的冷却方式。因为超算是一堆CPU的堆叠,CPU 的热度是相对均匀的,所以泡在新工业里面这种方案是比较好的一个方案。这样可以在更小的面积之内贴更多芯片,推出来的算力会更高。而对于GPU这种发热不均匀的设备,采用冷板这种方 式效果最好。Q:超算中心和商业化计算项目在部署上有什么不同? A:超算中心项目通常是国家工程项目,建筑结构和其他设施都是为超级计算机中心服务的,进展较快。而商业化计算项目需要大规模快速部署,受到的制约条件较多,部署难度较大。商业化计算项目的服务器类似于风冷服务器,只需在基础设施准备好后连接管线即可部署。 Q:英伟达的DB200和NVL系列产品在液冷方面有哪些特点?A:英伟达的NVL系列产品包括TH200、GH200等,GH200有NVL32和NVL72两种规格,分别代表36和72个GPU。NVL72是最新产品, 预计明年量产,额定功率为120千瓦,采用冷板式液冷方案。每个机柜包含18个托盘,每个托 盘有两张GPU板卡,共72个GPU。机柜采用OCP标准,冷板式液冷用于托盘内部,风冷用于网络连接和其他部分。 Q:OCP标准机柜的优势是什么? A:OCP(OpenComputeProject)是一个全球开放社群,由Meta(Facebook)提出,包含一百多家公司。OCP标准机柜的优势在于其开放性和兼容性,任何 符合OCP标准的设备都可以混用。这种标准化有助于快速部署业务,例如在短时间内增加大量计算资源。 Q:冷板和静默液冷系统的成本构成是怎样的?A:冷板液冷系统的主要成本包括CDU(每千瓦1000到1500元)、manygold和二十四管路(1500到2000元),以及外部冷却设备(约500元)。静 默液冷系统的成本主要在冷却液上,冷却液按吨计价,一吨约40万元,一个标准20U的坦克需要约800升冷却液,成本约30多万元。Q:冷板和静默液冷系统的冷却液消耗情况如何? A:冷板液冷系统是封闭系统,冷却液只循环不蒸发,基本不需要补充,年消耗量约为2%到5 %。静默液冷系统则会挥发,年消耗量约为10%到20%。静默液冷系统的补液频率较高,有时每两个月就需补液。 Q:您能详细拆解一下静默单项的价值量吗?A:静默单项的结构与冷板类似,主要包括机柜、CPU和干冷器。具体价值量如下:碳壳部分约3000瓦,价值在500到800元之间;CPU部分价值在1000到15 00元之间;干冷器部分约500元。干冷器有时会做成一主一备的配置。整体价值量约为 290万元。Q:液冷产业链中各厂商的角色和地位? A:液冷产业链可以分为三大类厂商:1.IT厂商的延展部分,如曙光数创、浪潮等。这些公司 有自己的配套厂家来做冷板式液冷,主要为自己的芯片或服务器配套,市场化能力和综合能力较弱,但业务增长潜力大。2.专业的制冷供应商,如英维克、依米康等。这些公司原本做机房制冷,具备较强的市场理解和产品成熟度,特别是英维克在研发能力和产品成熟度方面表现突出。3.上游零部件供应商,如高栏、中航光电等。这些公司主要做冷板和其他散热组件,部分企业如汇川也进入了液冷市场,提供驱动器和水泵等零部件。 Q:英维克在液冷产业中的优势是什么?A:英维克的优势主要在于解决方案的成熟度和技术储备。液冷系统是一套复杂的系统,英维克在冷板、房间级和冷源方面都有丰富的经验和技术储备。此外,英维克在储能冷却方面也有较大的验证规模 ,具备丰富的工程经验和较强的定制化能力,这使得其在处理水垢路、管网、接头渗漏等问题时表现更为出色。Q:全球液冷市场的主要竞争者和竞争情况如何?A:全球液冷市场的主要竞争者包括文具和徐红等公司。与国内市场相比,全球市场在价值量和技术方面可能有所不同。具体的竞争情况和对比需要进一步详细介绍。Q:台湾供应链与贵公司的关系是怎样的?A:台湾供应链与我们不是竞争关系,而是错位的。台湾供应链主要负责整体交互界面,例如英伟达设计芯片后交给台积电生产,再由台湾的服务器制造商如广达、英业达、伟创等进行组装。我们与英伟达是伙伴关系,面对同一个客户群体,例如微软等四大云厂商。我们负责提供数据中心层面的解决方案,包括服务器设计、机柜配置、制冷架构等。台湾供应链则更多依赖英伟达订单,类似于苹果的 供应链模式。我们在高热制冷领域是英伟达的独家合作伙伴,提供全套制冷解决方案。 Q:NVL42液冷制冷的价值量如何? A:NVL42的整机柜内部冷板、manyfold和机柜的价值量大约为4万美金。外 部的CPU等组件的制冷价值量大约为30万到50万美金。一个NVL72单元包含18个机柜,使用两台CDU013501主一备,整体价格大约在60万到100万美金。整体市场规模可以根据GPU数量进行推算。Q:单向冷板的价值量如何拆分? A:单向冷板的价值量按每千瓦计算,大约为5000到6000元人民币。快接头的价值 量大约为300到500元人民币一个,具体数量取决于服务器的设计,一般为一进一出。Q:冷板的价值量为什么这么高?它的特殊壁垒体现在哪些方面?A:冷板的高价值主要体现在其加工工艺的难度上。冷板通常用于服务器内部,其单品价值量较高。冷板的制造需要高精密度的加工工艺,包括铜制主板、铝合金托底托以及内部复杂的水管路设计。此外 ,为了使服务器更薄,冷板采用异构架构,并且需要大规模生产,这些都增加了制造成本。Q:为什么国内和国际市场的冷板价格差异如此大?A:国内和国际市场的冷板价格差异主要是由于供应链成本和竞争度的不同。国内冷板的价格约为3000至4000美元,而国际市场的价格则高达30万至50万美元。这种价格差 异反映了不同市场的芯片供应情况和供应链成本的差异。Q:国内有哪