2024年AI服务器和AI PC趋势解读

2024年AI服务器和AIPC趋势解读 电子发烧友网副主编 章鹰 2024.07.01 目录 数据中心、AI服务器市场趋势 AI服务器的发展挑战和质量检测 AIPC市场规模和趋势 AIPC终端厂商和上游产业链 AIPC产业应用和生态 总结 数据中心、AI服务器市场趋势 数据中心 •数据中心按照算力可以分为三类：云数据中心、智算中心和超算中心。云数据中心面向众多应用场景和应用层级扩张；智算中心 以AI专用芯片为计算算力底座，以促进AI产业化和智能化为目标，面向AI典型应用场景；超算中心主要支持科学计算和工程计算 ，主要由国家科技部布局建设。 •国内数据中心建设较全球起步晚，目前处于云中心深化阶段，向智能算力中心转型，总体处于成长期。 电子发烧友根据公开资料制图 生成式AI支出高速增长 •国际调研机构IDC统计，2023年全球生成式AI支出的市场规模预计为387.9亿美元，2027年全球生成式AI支出将达1454.2亿美元，2023-2027年CAGR为55.3%。中国生成式AI支出将达到35.3亿美元，2027年预计中国生成式AI支持将达到129.3亿美元，2023-2027年CAGR为54.1%。 •海外企业应用生成式AI意愿强烈。OpenAI首席运营官BradLightcap预测2024年是AI应用元年，目前已有超过60万人注册使用ChatGPT企业版。6月11日，OpenAI在官网宣布与苹果达成技术合作，将ChatGPT深度集成在苹果产品矩阵中，包括最新的iOS、iPadOS和macOS。苹果将AI大语言模型集成到iPhone、iPad、Mac等设备中，算力从云端向终端转移趋势出现。 数据来自IDC，电子发烧友制图 数据来自IDC，电子发烧友制图 5 全球需求快速增长，国内AI服务器处于增长期 •根据Trendforce测算，2023年全球AI服务器出货量逾120.8万台，同比增长超过37.7%。这家机构预测，2024年全球AI服务器整机出货量将达167.2万台，同比增长38.4%。台积电在Q1法说会上表示，AI需求的增长将以50%的复合增长率持续至2028年，AI服务器需求增长也有望以较高速度持续至2028年。 数据来自Trendforce,电子发烧友制图 图片：台积电Q1财报 •国际数据公司（IDC）与浪潮信息联合发布报告显示，2023年，中国人工智能服务器市场规模将达91亿美元，同比增长82.5%；智能算力规模预计达到414.1EFLOPS（每秒百亿亿次浮点运算），同比增长59.3%，2022年到2027年，年复合增长率达到33.9%。 AI服务器分类 •按照用途区分，AI服务器分为训练和推理两大类别。训练用服务器对存储空间、带宽和算力的要求较高，主要采用8-GPU设计；推理用服务器对算力、存储和带宽的要求相对较低，取决于业务场景，可以采用GPU、NPU、CPU等不同芯片承担推理任务，可以采用PCLe接口的AI加速器实现推理任务。 •服务器随场景需求经历通用服务器-云服务器-边缘服务器-AI服务器四种模式，AI服务器采用GPU增强其并行计算能力 。CPU+GPU是AI服务器的核心部件。机柜级解决方案有望成为未来AI服务器出货主流形式之一。 电子发烧友拍摄 图片来自慧博智能投研 AI服务器-上游产业链构成（一） CPU GPU 英特尔 AMD 龙芯中科 英伟达 AMD 英特尔寒武纪 CPU+GPU HDD/SSD 三星金士顿威刚 DRAM内存 三星、SK海力士美光 冷却方案 Auras Sunon; AVC Technology Technology 电源 台达电子艾默生光宝科技中国长城欧陆通 AI服务器产业链上游为基础设施供应商，包括芯片CPU、GPU，存储（内存DRAM和内存接口及HBM，本地存储SSD），被动元器件、智能网卡、机箱、主板、散热、电源等。 AI服务器-上游产业链构成（二） 固态硬盘 三星金士顿威刚 PCB 散热器 被动元器件 互联网接口 质量检测 英伟达 TIADI 蔡司 是德科技爱德万测试 福禄克 村田TDK 太阳诱电 台达电子富士康 AEC 鹏鼎控股东山精密健鼎科技 AI服务器中游和下游 国外厂商：Wiwynn、Supermicro 中游：ODM厂商 国内厂商：工业富联、广达、英业达、纬创、技嘉 中游：AI服务器厂 商 国外厂商：戴尔、思科、富士通、甲骨文（Oracle） 国内厂商：联想、浪潮、华为、新华三、宝德、思腾合力 AI服务器下游-应用市场 企业类型：互联网企业、云计算企业、电信运营商、金融机构 其他类型：政府部门、数据中心服务商、医疗领域 六大AI服务器厂商 01 戴尔 PowerEdgeXE9680 中科曙光 04 Texthere 02 浪潮 NF5468M6 AI服务器厂商 华为 05 Atlas800AI服务器 03 联想 ThinkSystemSR670V2AI服务器 新华三 06 H3CUniserverR5360G6 AI服务器的品牌厂商，包括戴尔、浪潮、联想、中科曙光、新华三、华为、宝德、安擎和工业富联等。 AI服务器的发展挑战和质量检测 AI服务器发展的三大挑战 AI服务器有五大硬件板块：CPU母板组、GPU板组、电源模组、硬盘和配件（机壳、机架、连接器和电感）。今年，随 着大模型部署加速，AI算力需求飙升，英伟达GB200服务器下半年出货，带动液冷、GPU板组上的PCB需求的增加。 图片来自网络 三大挑战：一、先进的GPU加速卡需要使用多层高阶HDI板，PCB的材料和产品质量如何保证；二、AI服务器对传输速度要求较高，高速连接器正朝向“56G－112G－224G”的方向发展，高速和高密度背板连接器如何满足AI算力释放需求，这都需要工业检测领域的有效方案来护航。三、智能算中心走向高密度，单颗高性能AI芯片的热设计功耗将突破1000W，达到了传统风冷散热的极限，液冷技术成为主要趋势。 图：联想ThinkSystemSR670V2AI服务器，来自联想官网 数据中心与AI服务器的生产制造品质更高要求 AI服务器具有高功率、高速运算和数据传输等特点，以及不间断运行的高价值设备，因此对于各方面的元器件的质量要求更高，要在生产制造各个环节的检测有更高的技术支持。 支持更强算力的AI服务器会用到： 1、多层高阶HDIPCB板更多层，更高的线路密度 2、高功率机架 3、多相电源供电系统 4、采用更好的被动元件，如叠层片式铁氧体磁珠 5、高速的背板服务器 6、固态硬盘、光模块 7、液体冷却系统等。 对于这类产品的失效性分析、质量检查的品质要求更高 就目前的数据中心硬件方面，蔡司已识别出5个应用场景和7个新趋势点，如何做好质量控制，以及一系列的失效分析检查才是保证数据中心发挥最大效能的关键点。 例如： 通过检查层片式铁氧体磁珠，可以使用蔡司工业显微镜去直观的发现失效点，通常我们使用电镜去观察，使用Sigma电镜去且无需额外的消磁处理即可放大到1万倍去观测磁珠表面的情况 AI服务器5个新趋势，10个重点应用 多相电源 叠层片式铁氧体磁珠 IT算力设备 数据中心 通信设备 AI服务器 固态硬盘 交换机 多层高阶HDI板高速背板连接器 片 高功率机架图 来源于 络 核心交换机网 光模块 路由器 散热制冷系统 液体冷却系统 液冷板 15 IT设备 照明系统 制冷设备 其它 电源系统 数据中心能耗组成 散热制冷系统 •冷板冷却是数据中心主流的液体冷却解决方案 图片来源于网络图片来源于网络 冷板直接安装在热源的顶部，中间有一层热界面材料以增强传热。在冷板内部，液体流过微观结构并流出到某种形式的热交换器。 PUE是国内外数据中心普遍接受和采用的一种衡量数据中心基础设施能效的指标. 到2025年，全国新建大型、超大型数据中心电能 利用效率（PUE）降到1.3以下。 制冷设备占非IT设备能耗的大部分。 AI服务器的液冷板尺寸测量 样品 GOMScan1 平面度和孔间距测量。 测试要求 采用GOM蓝光技术和立体摄像原理，提供高精度三维数据。 小巧，可移动，超级易用。 搭配ZeissInspect软件，轻松处理检测过程中的简单和复杂的任务 。 价值主张 行业常用的生产制造的检测方案 行业检测解决方案包括CMM&VMM检测，光学系统AOI检测，能够穿透元器件及产品内部的X射线检测，以及各种工业显微镜。 图片来源：蔡司ZEISS官网 算力从云端向终端迁移 •随着生成式AI的飞速普及和计算需求的日益增长，云经济难以支持生成式AI规模化扩展，云端必须与终端侧协同运行AI 应用。端侧AI部署成为AI实现规模化扩展及应用落地的关键。 数据中心服务器 边缘设备 低功耗 手机 低带宽 计算效率 PC 汽车 AIPC市场规模和趋势 图来自IDC PC市场现状：全球PC疲软，中国市场企稳回暖 •IDC预测，2024年全球PC市场与2023年持平，出货量达到2.602亿台。尽管带有NPU，有能力运行端侧生成式AI功能的AIPC集中在下半年上市，暂时未能显著带动PC市场的出货量。 •2024年，中国整体PC市场转好，2024年出货量同比去年增长3.8%。Q1全球PC市场回暖，六大PC厂商联想、惠普、戴尔、苹果、宏碁和华硕业绩出现分化。今年将成为中国AIPC快速发展的第一年，预计2024年整体PC市场AIPC占比将达到55%，而2027年将达到85%。 •AIPC在中小企业市场发展最快，2024年将超过60%；消费市场受游戏场景和学习创作场景带动，2024年将达到55.4%。大企业受到安全因素影响，初期部署较慢，估计到2027年，AIPC在大客户市场的占比将达到76.8%。 •PC市场目前以存量市场为主，用户换机周期长。AIPC的上市能够实现PC的新升级，有望拉动PC的换机需求。 图片：来自网络 AIPC的定义 •英特尔和微软联手定义AIPC：PC除了需要CPU、GPU、NPU之外，键盘上还有物理的MicrosoftCopilot键，能够在本地运行Copilot。 •目标：与传统PC不同，AIPC最重要的是嵌入了AI芯片，形成“CPU+GPU+NPU”的异构方案，可以支持本地化AI模型，能够更快地执行AI任务，并且无需将数据（尤其是敏感数据）发送到基于云的AI服务器进行处理。 图：华硕灵耀14双屏，搭载IntelUltra9，电子发烧友拍摄 AIPC市场规模展望 •2024是AIPC发展元年。IDC预测，到2028年中国下一代AIPC年出货量将是2024年的60倍。摩根士丹利认为，AIPC将从今年下半年开始剧增，预计将从1000美元以上的笔记型电脑开始普及，最终将下降到500美元的价格区间。 •调研机构Canalys数据显示，2024年下半年，AIPC的广泛推出将推动市场发展，为暂缓购买的用户提供创新性和吸引力的产品。2024年全球AIPC出货量将达到4800万台，占个人电脑总出货量的18%。 •5月底，微软Copilot发布端侧模型，基于本地算力可以为用户提供本地大模型的训练和功能计算。相比云端，端侧模型具备较高安全性和及时性，是下一代PC必不可少部分。 微软Copilot+PC技术亮点 1、算力升级 2、回溯记忆（Recall） NPU达到40Tops+16GBRAM配置，新一代 38%。 CopilotPC运行速度比苹果MacBookAir快 3、渲染交互 实时交互能力，尤其在图像生成、视频剪辑、游戏渲 在GPT-4o加持下，这项功能允许截取设备使用情况 的屏幕截屏，并且存储在本地，加强隐私保护。 4、实时字幕 在强大算力和语言模型帮助下，机器将40多 种语言的实时字幕翻译成英语。 AIPC终端厂商和上