2024智能算力产业发展白皮书

智能算力产业业发展 白皮书 2024年7月 发布单位 国家信息中心大数据发展部、上海人工智能研究院、东方证券-上海人工智能研究院联合实验室 特别鸣谢 广州数据集团、广电运通、粤港澳大湾区大数据研究院 智能募力产业发展白皮书 编制组成员 专家指导组成员 于施洋国家信息中心大数据发展部主任 宋海涛上海人工智能研究院院长 陈刚东方证券首席研究总监 编制组成员 国家信息中心大数据发展部 郭明军规划与应用处处长 童楠楠规划与应用处副处长 陈东规划与应用处高级工程师 窦悦规划与应用处副研究员 郭巧敏规划与应用处助理研究员赵正规划与应用处助理研究员马文博规划与应用处助理研究员 马晓规划与应用处实习研究员 张琳颖规划与应用处实习研究员 上海人工智能研究院 杨浩副院长 孙丽数字经济研究中心主任 苏合检算力算网中心副主任 唐晟凌数字经济研究中心资深咨询师康起明数字经济研究中心资深咨询师徐艺珺数字经济研究中心资深咨询师仲惠颖数字经济研究中心资深咨询师 东方证券-上海人工智能研究院联合实验室 浦俊懿计算机行业首席分析师，东方证券-上海人工智能研究院联合实验室主任 宋鑫宇计算机行业分析师 陈超计算机行业前瞻科技首席分析师 杜云飞计算机行业高级分析师 覃俊宁计算机行业分析师 粤港澳大湾区大数据研究院李琳常务副院长 王天瑞工程咨询中心高级咨询师 栾雪洋工程咨询中心高级咨询师 目录 、AI大模型时代到来，智能计算成为关键引擎 1.1AI大模型取得突破，算力需求正从通用计算转向智能计算 04 -04 1.2智能算力需求将呈现指数级增长- 1.3.1国家层面制定一系列政策，在全国范围推动智能算力发展 1.3.2各地积极布局算力，智算中心建设热魔持续 -11 12 15 ~23 -23 二、智算产业蓬勃发展，产业生态逐步形成 2.1智算中心建设迅速落地，多方主体积极参与 2.2智算产业链正在形成· -25 ~27 三、智算芯片是智算产业核心环节，也是全球科技巨头竞逐热点 -27 3.1.1智算芯片是智算产业的核心环节-== 3.1.2智算芯片成为中美科技博弃的焦点之一 -27 3.1.3国产智算芯片发展刻不容缓 3.2海外：英伟达目前独大，AMD、微软、特斯拉、谷歌等开始发力 -28 31 33 -33 3.2.1英伟达目前在智算芯片领域独占整头 3.2.2AMD在智算芯片领域不断发力- 3.2.3微软自研芯片垂直整合Azure软硬件 E- 35 3.2.4特斯拉推出FSD芯片以最大化其自动驾驶技术潜力 -36 3.2.5谷款TPU持续送代性能升级- 3.3国内：华为、海光信息等科技大厂积极布局，赛武纪、天数智芯等创业型企业纷纷兴起 37 8E- 3.3.1华为打造全栈自主AI基础软硬件-- 3.3.2海光DCU依托开放生态加速推广 8E- ~42 3.3.3赛武纪云边端协同发展~ -43 3.3.4天数智芯立足高性能通用GPU加速构建AI自主生态 3.3.5潮博半导体芯片产品聚焦AI加速和视频处理-— =44 -45 3.4.1国产智算芯片在性能方面与英伟达的通用GPU的差距正在缩小 3.4.2国产智算芯片在应用生态方面还有很大发展空间 3.4国内厂商在产品性能差距上正在缩小，但应用生态差距较大48 -48 -49 四、智算产业发展趋势 -50 4.1多元异构算力融合与国产化是方向与趋势， 4.2智算建设与东数西算工程将有效融合- 4.3通过算力调度，智算由单个节点向多点融合与协同演变 4.4智算中心低碳化发展需要算力-电力协同 ~50 53 -55 -60 02 ·63 5.1中科曙光- 69 ·66 6.1加强智算资源整合与布局优化 6.2如快培育国产软硬件生态 六、智算发展展望与政策建议 6.3促进产业链协同与创新升级 ·69 五、优秀案例介绍 5.2广州数字科技集团~ 69 ·69 69 -70 6.4加强智算中心运营保障 、AI大模型时代到来，智能计算成为关键引擎 1.1AI大模型取得突破，算力需求正从通用计算转向智能计算 智能计算是指面向人工智能应用（包括训练、推理、衍生应用场景等）的高性能计算。算力可分为：通用 算力、智能算力和超级算力，分别对应三种计算模式：基础计算、智能计算和超级计算。不同应用场景下所 需的计算精度不同，通常会采用不同种类的算力。目前，随着人工智能的快速发展以及国家层面的政策助 推，智能算力规模和占比越来越大，算力需求逐步从通用计算转向智能计算。 D通用算力：基于CPU芯片的服务器所提供的算力，主要用于计算复杂度适中的云计算、边缘计算类 场景，通常这些场景对实时性有一定要求，不适合完全将本地数据搬到异地计算，如移动计算和物联网等。 (2智能算力：基于GPU、FPGA、ASIC等AI芯片的加速计算平台提供的算力，主要用于人工智能的训练 和推理计算，智算中心可以根据不同细分领域业务的算力需求匹配相应的计算能力。对于人工智能的模型 训练及推理来说，处理文字、语音、图片或视频等需求较大，单精度、半精度、甚至整型的智能计算才能够满 足应用需要。 ③超级算力：由超级计算机等高性能计算集群所提供的算力，主要用于尖端科学领域的计算，比如行 星模拟、药物分子设计、基因分析、天体物理、气象研充、航空航天等需要复杂运算、高性能双精度算力的高 精尖科研领域。同时，不同超级计算机的处理器、如速卡、框架等各不相同，商业化服务门槛高。 算力种类 西用草力 能草力 级其力 计算模式 燃能通用计其 人工智能计发 安战科学领城计会 弹力核心 云计算、达缘计算 A训练、A推理等 行星预拟，药制手设计、基黑分 图1算力种类 数招来源：公开资料整理 am B 无不在 所不R胎AI 更高的运营效需 教育 图2AI计算场景愈加丰富，对智能算力的需求增加 数据来源：华为 驱动力1：通用大模型。机器学习进入大模型时代，ChatGPT等通用大模型的训练送代极大拉动对智 能算力的需求，模型成功部署后的推理阶段也将需要大量智能算力做支撑。从模型训练角度来说，据J， Sevilla等发布的文章&ComputeTrendsAcrossThreeErasofMachineLearning"2022International JointConferenceonNeuralNetworks(IJCNN)》，机器学习的训练计算大概可以分为三个时期：1)第一个 时期为2012年之前，训练算力大致遵循摩尔定律，约每20个月翻一番；2)进入深度学习时代，算力翻倍的速 度加速至5-6个月；3)2015-2016年左右开启了大模型时代，在这个时期，计算量增长变慢，翻倍时间约为 千亿、甚至万亿级参数，以及上千GB的高质量数据，大模型的训练送代极大地拉动了智能算力的需求。另 10个月，但整体的训练计算量比深度学习时代的系统大2到3个数量级(OOM)。从2022年底，随着ChatGPT的发布，新一代AI浪潮来临，Bert、GPT4、文心一言等国内外通用大模型相继发布。这些大模型的训练需要 外，随着模型的成熟落地和推广，模型推理所需的智能算力也将逐渐增加，占比不断提高。 T5(118) Falies(a6) ULaMA(B) GPT3(17S8) MTNLO(X0) (ophar(2806) (hiredile(08) 16% 37% 62% 56% 57% GLaM(1208) PLM(SIB) LaMDA(137B) Calactica(12aB) (PT-NeX() AlpkaCade(41R) CadeGea(16R) 22% 14% 2% 3% 2% Walpies P),=Opa/9khTsx:(38G,33L=51kipefia(21G,22x CorwasrieDes Bxks&Nens BedliCxps(XG,2015,=Gabg(,X013,B(C-SeisR(D1G,2019),ECC-NEWES(73G,2019),EREALNE9s(12XG,26(9) SemtifikcDa 4(bePk-AtXx(720,200,tkeAle-PxModAhrxis(230,230) Code -28231.ticPile-Galsb(61G,2X21) 图3大模型参数量及其训练所需高质量数据源构成 数据来源:论文(ASurveyofLargeLanguageModels) Compulalionusedtotrainnotablearlificialintelligencesystems Computarin=ismess uredintoralpetaFLOP,thicmis101t omA1literstu olbeitmitnsonence:tainty.Estimateszreexpectedtoteaccuratewfthinfactorof2.crafactorof5forreoent indisclesedmodstsliesGPT-4 10biEon Diwie t00mllon AlphaCol 1milion Se:25csLSTM 16.000 100 EKASE NPMGesCe BSTMforSp 0.01 0.0001 wenanunIrcrse 0.000001 0.00000001 onMakI :0000000001 ADALINE -1e-11 J2.1550Apr19,1965 Sep4,1992 Moy14,2006 Jzn21,2029 Pubicationdbte CudabddioD :1CC.B 图4用于训练人工智能系统的算力需求 数据来源;:OurWorldinData 驱动力2：垂直行业大模型。垂直行业大模型的训练和基于通用大模型微调的行业应用都需要大量的 智能算力做支撑。垂直行业的大模型训练需要大量的智能算力，另外，基于大模型的多场景应用也不断拓 展。AI渗透千行百业，拉动智能算力规模高速增长。2022年，各行各业的AI应用渗透度都呈不断加深的态 势，尤其是在金融、电信、制造以及医疗领域，为实现业务增长、保持强大竞争力、从而占据更大的市场份 额，企业纷纷入局AI领域，通过新技术提升传统业务用户体验，人工智能应用增长迅速。据IDC和浪潮信息 联合发布的（2022-2023中国人工智能计算力发展评估报告》，预计到2023年年底，中国将有50%的制造业 供应链环节采用人工智能技术实现业务体验提升。在未来，随着A技术对传统行业赋能作用日益凸显，史 大规模的智算需求出现成为必然。 2021 12022 同比增帽 14.00% 80 70 60 50 40 30 12.00% 10,00% 8.00% 6.00% 4.00% 20 102.00% 互联网金融政府电信制造服务交通医疗能源教育 图5中国人工智能行业受用港资度（场）及同比路长 %00'0 数据来源：IDC，浪潮信息 驱动力3：海量数据。随若云计算、大数据、AI、物联网等技术应用发展，数据量呈指数级增长，智能算力 需求也随之快速增长。据IDC最新发布GlobalDataSphere2023数据，2023年我国数据量规模预计为 30.0ZB，到2027年数据量规模则将达到76.6ZB，2023-2027年CAGR达到26.4%。英特尔✁研究也表明，AI 模型✁计算量每年将会增长10倍，这一趋势随着未来人工智能与传统产业✁深度融合会进一步加快。自 2012年开始，驱动AI✁底层机器学习技术计算量呈指数级增长，远超摩尔定律带来✁算力提升速度，对以 CPU