东数西算数据中心基础架构设计方案白皮书

长城超云（北京）科技有限公司 东数西算数据中心 基础架构设计方案 白皮书 目录 一、东数西算的背景3 (一)政策背景3 1.核心战略3 2.东数西算和国家热点战略关系解读4 3.一张图解读政策之间的关系7 4.典型枢纽和节点布局7 (二)投资背景9 1.政府投资9 2.民间投资10 (三)业务背景11 1.东数西算业务需求11 2.业务承载能力需求13 3.业务上线效率的需求13 4.能效水平需求15 (四)技术背景16 1.云边协同发展趋势16 2.算力芯片发展趋势16 3.存储介质发展趋势18 4.节能减排技术发展趋势19 二、从0到1基础设施建设模式21 (一)基于微模块建设方式21 1.数据中心建设21 2.简易算力部署22 3.边缘计算节点22 (二)基于整机柜交付方式23 1.厂内预制、快速交付23 (三)基于液冷建设交付方式24 1.数据中心液冷技术24 2.冷板式液冷25 3.浸没式液冷26 三、算力部署及数据处理模式27 (一)计算27 1.Intel架构典型服务器28 2.AMD架构典型服务器29 (二)AI30 1.GPU典型服务器30 2.ASIC典型服务器32 3.FPGA典型服务器33 (三)存储33 1.海量存储服务器34 2.紧凑型存储服务器35 3.全闪存储服务器35 四、集群管理及应用模式36 五、系统运行维护模式39 六、结论40 七、关于超云41 八、参考文献引用备注42 一、东数西算的背景 (一)政策背景 1.核心战略 双碳：2020年9月22日，中国在第75届联合国大会上正式提出2030年实现碳达峰、2060年实现碳中和的目标。2030年之前，二氧化碳排放量不再增加，达到峰值后再缓慢减少。到2060年，所有的二氧化碳排放将通过植树、节能减排来抵消。 数字经济：2022年1月12日，国务院正式印发《“十四五”数字经济发展规划》，明确了“十四五”时期推动数字经济健康发展的指导思想、基本原则、发展目标、重点任务和保障措施。 东数西算：2022年2月17日，国家发展改革委、中央网信办、工业和信息化部、国家能源局近日联合印发文件，同意在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏启动建设国家算力枢纽节点，并规划了张家口集群等10个国家数据中心集群。至此，全国一体化大数据中心体系完成总体布局设计，“东数西算”工程正式全面启动。 统一大市场：2022年3月25日，中共中央国务院出台关于加快建设全国统一大市场的意见，坚持创新驱动发展，推动高质量发展，坚持以供给侧结构性改革为主线，加快建设高效规范、公平竞争、充分开放的全国统一大市场。 2.东数西算和国家热点战略关系解读 什么是东数西算。东数西算的“数”是指数据，“算”指算力，即对数据的处理能力，是数字时代的核心生产力。“东数西算”通过在中西部建设包含数据中心、云计算、大数据等一体化的新型算力网络体系，将东部海量的数据有序引导至西部进行计算，促进东西部协同联动，效率优化。“东数西算”工程是我国继“南水北调”、“西电东送”、“西气东输”等工程之后，面向全国资源分布、经济发展实际，进行的全局统筹、协同优化的又一个历史性大工程。 东数西算与数字经济的关系：东数西算是数字经济发展的坚实底座。当前，我国数字经济蓬勃发展，各行业数字化转型升级进度逐步加快，全社会数据总量爆发式增长，数据资源存储、计算和应用需求大幅提升，但我国数据中心发展模式仍显粗放，东西布局失衡、算力配置分散、数据流通遇阻等问题凸显，在一定程度上掣肘数字经济发展速度。习近平重要文章《不断做强做优做大我国数字经济》中指出，要加强关键核心技术攻关，规范数字经济发展，完善数字经济治理体系，加快新型基础设施建设，推动数字经济实体经济融合发展，这五大领域发展数字经济，各领域相辅相成，协同发展。 例如： 1)通过高质量建设新型基础设施，不断加强ICT核心技术攻关 2)通过东部数据经济发展带动西部实体经济发展和数字经济建设 3)通过打通优化东西数据网络，扩大数字发展格局，不断完善全国数据治理体系 “东数西算”工程的问世，着眼于数字经济建设多个核心领域，通过科学合理的顶层设计，引导东部数据中心集约化发展、西部数据中心跨越式发展，统筹调度东西部数据中心算力需求与供给，实现全国算力、网络、数据、能源等协同联动，为我国数字产业化和产业数字化发展打好坚实底座（注1）。 东数西算与双碳战略的关系：东数西算是双碳战略的重要抓手。气候变化是人类面临的全球性问题，随着各国二氧化碳排放，温室气体猛增，对生命系统形成威胁。 与此同时，我国社会也进入了新的发展阶段，无论是来自世界外部的发展趋势还是自身发展的需求，使得中国的经济发展从追求速度与效率的方式转向生态文明建设，走绿色低碳可持续的道路。在这样的时代背景下，我国对双碳目标的承诺，标志着中国对促进经济高质量发展，社会繁荣和全球生态环境保护的决心 （注2）。 数据中心耗电量逐年升高，据国家能源局数据显示，2020年我国数据中心耗电量已逾2000亿千瓦时，约占全社会用电量2％，电能利用率（PUE）高达1.49；二氧化碳排放量约1.35亿吨，约占全国二氧化碳排放量的1.14%。结合数据中心规模增长趋势，可以判定，数据中心将成为未来为数不多能源消耗占社会总用电量和碳排放量比例持续增长的行业，给全社会能源供应和环保带来了巨大压力。 “东数西算”工程聚焦创新节能，在集约化、规模化、绿色化方面着重发力，支持高效供配电技术、制冷技术、节能协同技术研发和应用，鼓励自发自用、微网直供、本地储能等手段提高可再生能源使用率，降低数据中心电能利用率（PUE），引导其向清洁低碳、循环利用方向发展，已经成为数据中心与绿色低碳产业深度融合，建设绿色制造体系和服务体系的重要抓手工程，助力我国在2060年前实现碳中和目标。 东数西算与统一大市场的关系：东数西算构建东西重要数据走廊，打通市场堵点。我国目前处于第二个百年奋斗目标新发展阶段，同时世界正处于百年未有之大变局和疫情常态化局势叠加，面对国际复杂局势，稳经济首先要稳内需，加快建设全国统一大市场出台，其工作原则指出：立足内需，畅通循环；立破并举，完善制度，对我国市场格局有以下作用： 1)强化我国国内市场基本盘 2)促进我国国内大循环以及国际国内双循环 3)影响全球要素资源向我国聚拢 随着数字技术全方位融入经济生活，数字经济成为驱动我国经济社会发展的新引擎，商贸流通的数字化建设则是必然趋势。现代商贸的流通是物流+数据的流通，借助东数西算工程构建的数据走廊，可以助力西部地区加快数字基建，打通商贸流通堵点、打破区域界限和市场分割，降低产销对接、城乡联通、内外连接等交易成本，有效解决各区域、各行业信息不对称、不透明等问题，提高市场效率、提升服务质量、扩大市场利润（注3）。 3.一张图解读政策之间的关系 图1：全国资源分布与输送示意图 4.典型枢纽和节点布局 东数西算布局如下图所示，京津冀枢纽、长三角枢纽、粤港澳枢纽、成渝枢纽、内蒙古枢纽、贵州枢纽、甘肃枢纽、宁夏枢纽为8大国家枢纽节点，此外， 国家还规划了10个国家数据中心集群，包括张家口集群、芜湖集群、长三角生态绿色一体化发展示范区集群、韶关集群、天府集群、重庆集群、林格尔集群、贵安集群、庆阳集群和中卫集群，以此构建全国新型算力网络体系。 图2：全国一体化算力网络国家枢纽节点布局图 八大节点在“东数西算”工程中所发挥的作用各不相同。贵州、内蒙古、甘肃、宁夏这四个节点要打造面向全国的非实时性算力保障基地，定位于不断提升算力服务品质和利用效率，充分发挥其资源优势，夯实网络等基础保障，积极承接全国范围的后台加工、离线分析、存储备份等非实时算力需求。京津冀、长三角、粤港澳大湾区、成渝四个节点要服务于重大区域发展战略实施需要，定位于进一步统筹好城市内部和周边区域的数据中心布局，实现大规模算力部署与土地、 用能、水、电等资源的协调可持续，优化数据中心供给结构，扩展算力增长空间 （注4）。 (二)投资背景 “东数西算”是掀起数据中心产业链投资热潮的新动能。数据中心的产业链条较长、覆盖门类较广，包括土建工程、信息通信基础软件、IT设备制造和绿色能源供给等。虽然数据中心的预期收益较高，但前期建设需要大量的资金。在政策引导和行业需求的驱动下，“东数西算”工程实施落地，可以吸引大量投资，继而为数据中心产业链建设提供必备的资金。根据国家发改委预测，“东数西算”数据中心的建设将吸引超过4000亿元的社会投资。“东数西算”工程 预计未来5年或将带动每年千亿元的投资，对相关产业拉动作用突出。据 《2020全球计算力指数评估报告》显示：计算力指数平均每提高1个百分点，数字经济和GDP将分别增长3.3％和1.8％。可以预见，围绕“东数西算”投入的资金、人 才、技术，将为我国数字经济发展注入源源不断的新动能。 1.政府投资 地方政府根据招商引资政策，对兴建数据中心、产业园区等项目给予政策奖励，或直接参与或间接参与进行投资。其中政企合作是政府投资的普遍选择，政企合作是指企业与选址地政府合作，通常可享有一定优惠扶持。政府能够分担投资风险，降低融资难度，也能够协调多方利益主体的一致合作，形成社会效益最大化。 同时政府部门通常会在土地、电力、能耗方面给予合作的第三方数据中心运营商一定倾斜和优惠，第三方数据中心运营商则主要负责数据中心的投资、建设和运维，促进当地政府部门、企业数据上云，并需要在招商引资、纳税、增加 就业、人才引进方面为当地做出贡献，拉动当地数字产业和数字经济发展，形成双赢局面。 2.民间投资 民间投资往往以第三方数据中心为主要投资方式，第三方数据中心运营商占据我国数据中心市场半壁江山，且份额每年都有所上升。源于早期数据中心建设资源和网络资源积累的优势，当前我国数据中心市场格局仍由三大基础电信运营商主导，众多第三方数据中心运营商加速追赶，共同构成我国数据中心主体格局。 从2020年数据中心业务市场收入占比来看，基础电信运营商约占总市场规模的54.3%，其中中国电信市场规模约占23.8%、中国联通约占16.7%、中国移动约占13.8%。第三方数据中心运营商市场规模占比为45.7%，对比2019年的40.7%，市场收入占比有明显提升（注5）。 图3：:基础电信运营商及第三方数据中心运营商数据中心业务收入分布 (三)业务背景 1.东数西算业务需求 离线数据处理场景。企业中有非常多需要离线分析的数据，例如，软件系统中的日志分析、每日每月报表分析、用户图片，视频算法分析等，采用大数据软件进行离线数据分析，这些数据和分析产生的结果对时效性要求并不是很高，因此西部价格便宜的算力优势足以低过数据传输带来的成本。 AI训练、视频渲染、超算场景。AI平台提供训练往往需要专门的算力设备，同时可以基于线下数据进行线下训练，因此用户可选择在西部数据中心中运行算 力密集度高的AI模型训练任务，训练出的模型再同步至东部数据中心的镜像Hub中并用于推理服务。视频渲染也是类似特性的算力密集型任务，将需要渲染的数据存储至西部数据中心，充分利用计算资源充足和价格优势完成视频渲染后，再将最终视频推流至用户端。同时东部地区还可采用边缘计算节点来缓存加速视频文件和相关数据，实现就近访问。同样对于科研计算中的流体力学、物理化学、生物信息等高性能超算场景，也适合在西部地区数据中心中进行计算。 物理托管和混合云场景。在企业上云过程中并不是把所有业务和数据全部迁移至云平台，因为企业IT历史原因和客观条件约束，有一部分服务器必须采用物理部署的形式。这样，企业就可选择在企业本地物理服务器集群和公有云之间构建混合架构，也可以选择将物理服务器集群托管至云平台。随着网络时延的逐步改善，以及西部数据中心的建设和配套服务的完善，让需要有服务器托管的中西部用户，甚至一些东部客户有了更多选择。 数据归档场景。如目前火爆的直播带货行业每天会产生大量的视频数据，根据直播带货视频合规要求，相关视频要至少保存