2023-2024国人工智能计算力发展评估报告

IDC浪潮信息 2023-2024年中国 评人工智估能计报算力告发展 目录 第一章人工智能发展迈入新阶段04 1.1全球：生成式人工智能兴起，产业步入关键转折点05 1.2中国：人工智能产业加速创新，机遇与挑战并存10 第二章人工智能算力及应用14 2.1芯片：满足多场景高质量应用需求15 2.2服务器：高算力和高能效受到持续关注16 2.3算法和模型：加速模型选代以探索行业实践19 2.4A软件基础设施：加速大模型的应用落地20 2.5边缘智能：以广泛的署推进智能的延伴22 2.6绿色算力：基于液冷服务器构建可持续发展数据中心23 2.7人工智能算力服务和云：根据算力需求优化服务模式25 2.8应用：企业积极投入以满足大模型时代的应用需求26 第三章中国人工智能计算力发展评估34 3.1行业排名35 3.2地城排名39 第四章行动建议44 4.1对行业用户的建议 45 4.2对技术供,应商的建议46 IDC观点 2023年是人工智能发展的重要转折年，企业正加速从业务数字化迈向业务智能化。大模型的突破和生成式人工智能的兴起为企业实现产品/流程的革新提供先进生产工具，引领企业和产业迈入智能创新的新阶段。对于企业人而言，其将不再局限于思考“如何在产品/流程中增加智能化能力”，而需要更多关注“如何使用人工智能实现产品/流程的革新”。 2大模型和生成式人工智能的发展将引发计算范式之变，产业动量之变，以及算力服务格局之变。未来几年，构建和调优生成式人工智能基础奠型以满足应用需求，将为整个基础设施市场带来改变和发展机遇， 从计算范式角度而高，人工智能算力基码没施将持续问高性能、高互联等方问演进以更高的计算能力和链接速度加速实现大规模参数和数据集的训练和调优；不断提升算力泛在性，推进人工智能在云-边-娱的覆盖，满足无处不在的暂能化需求；通过优化计算架 构、算法和软件栈，支持多元异构算力的协同，构建软硬件生态，加速计算技术的发展 和创新 从产业动量角度而言，基础模型技术的突破为人工智能产业的发展增加活力，催生新的玩家和投资机会，基础模型的持续选代、调优、场景适配和部署、落地等对基础设施层、模型层、平台层和应用层提出新的需求，带来新的服务模式，降低人工智能技术的应用门槛，通过微调等方法实现与下游任务的适配，加速人工智能基础设施软件的开 发，部著和应用，为用户和行业提供更多创新应用。 从算力服务角度而言，传统算力资源虚拟化共享复用的机制难以满定大模型时代企业对于集群式的高性能算力需求，生成式人工智能将加速企业更多地使用人工智能就绪的数据中心设施和人工智能服务器群，供应商需要具备提供定制化的、优化的基铝设施服务 能力，满足单个用户对训练和推理资源的独占式、大规模、长时间使用的诉求，并缩短 部署时间、提高对数据和输出的控制，满定应用场景的需求，帮助企业实现成本优化。 3从感知智能到生成式智能，人工智能算力需求快速增长。大模型和生成式人工智能的发展显者拉动了人工智能服务器市场的增长，IDC预计，全球人工智能使件市场（服务器）规模将从2022年的195亿美元增长到2026年的347亿美元，五年年复合增长事达17.3%；在中国，预计 2023年中国人工智能服务器市场规模将达到91亿美元，同比增长82.5%，2027年将达到134 亿美元，五年年复合增长率达21.8%。从算力规模而言，预计到2027年通用算力规模将达到 117.3EFLOPS，智能算力规模达1117.4EFLOPS；2022-2027年期间，预计中国智能算力规模 年复合增长率达33.9%，同期通用算力规模年复合增长率为16.6%。 中国市场对智能算力供给能力的衡量标准将加速演变，未来应用为导向、系统设计为核心将是算力升级的主要路径。中国市场对于算力供给能力的评估指标将从硬件性能向应用效果转变，企业在获得算力服务的过程中，会增加对于诸如单位时间可处理Token数量、可靠性， 时延、训练时间和资金成本，数据集质量等指标的关注。技术提供商需要以应用为导向，系统为核心，构建算力基硅设施，提高算力利用率，提升诸如卡间互联、多节点间互联等水平，通过灵活可扩展的集群满足市场的需求。 5中国应持族提升基础大模型研发能力，通过逐步完善的人工智能工程化工具，加速应用落地。目前，受政策支持、算力水平提升、数据资源虎大以及科研实力增强等利好因素的推动，中国在基础大模型方面取得一定成绩，但仍需加大在基铝性技术方面的原创性突破，夯 实底层模型和算法能力。在实践中，企业需要根据具体的任务和模型设计来决定参数量的大 小，投术提供商需要从硬件、软件、算法、数露服务等多个维度入手，结合行业特点进行框 架、模型、数据的垂直整合，提升大模型的准确性和可用性。 6基于液冷服务器构建绿色数据中心，推进人工智能算力可持续发展。人工智能算力的不断提升加速对能耗问邀的关注，从数据中心机柜功耗上来况，传统数据中心每机架功耗一股在 3-10kW之间，而每台GPU服务器的功率可高达50kW，对于数据中心操作员和规划人员来说，需要依据计算需求对资源进行合理规划和分配，积极探索采用液冷等先进冷却方法，满足实现可持续发展提出的要求。IDC预计，2022-2027年，中国液冷服务器市场年复合增长率 将达到54.7%，2027年市场规模将达到89亿美元。 7自前，中国的人工智能技术正加速迈入全面应用时代。人工智能领城持续追求对技术的创新 及增进，注重类人化和诺如机器学习、深度学习等技术的推进，以更好地处理现实生产、生 活场景中的复杂问题。大模型和生成式人工智能的落地，地给各行业带来新的赋能。IDC认 为，知识管理、对话式应用、销售和营销、代码生成等是企业应用生成式人工智能的主要领域；在特定业务部门或职能部门（营销、销售、采购等），生产力场景和垂直行业场景也有广泛的应用价值，未来，伴随特定领城行业大模型、多模态大模型、小样本学习、语音识别、计算机视觉等技术的突破，生成式人工智能的功能将实现持续进步，为企业带来新的能力。 人工智能加速实现在行业和城市的渗透。2023年，人工暂能行业应用渗透度排名前五的行业 依次为互联网，电信、政府、金融和制造。互联网行业依旧是人工智能技术应用和研发的主 力军；在电信行业，云上人工智能能力的加速发展，进一步优化服务，支持电信网络的优化 和智能化建设。在城市人工智能算力排行中，北京、杭州、深圳依然稳居城市排名前三位；其中，北京在大模型领或表现突出，聚集了大批大模型企业，雅出请多具有代表性的大模型 及应用产品。此外，中国其他地区依然保持着对人工智能产业的热忧，正持续加大在相关领 域的投资，不断推进人工智能产业的发展。 04 第一章 人工智能发展 迈入新阶段 1.1全球：生成式人工智能兴起，产业步入关键转折点1.2中国：人工智能产业加速创新，机遇与挑战并存 第一章1人工智能发展迈入新阶段05 1.1全球： 生成式人工智能兴起，产业步入关键转折点 生成式人工智能和大模 2023年，人工智能实现了破围式的发展，人工智能聊天机器人ChatGPT、A编程工具GitHub CoPilot和圈像生成系统StableDiffusion等生成式人工智能（GenerativeAl，Gen-Al）应用和 型将加速世界向智能化工具产品的出现，为文本创建、图像生成、代码生成以及研发流程等工作带来全新的智能体时代的迈进验，极大提升生产力，提高生产水平。生成式人工智能虚用的出现离不开大模型的支持。大模型是基于海量参数进行自监督学习的预训练模型，先借更强的学习能力、更高的精准度以 及更强的泛化能力，正在成为人工智能技术发展的焦点。 世界正在加速向智能化创新迈进。大模型及生成式人工智能的发展意味着人工智能正在从完成如图像识别、语音识别等特定任务，迈向拟人类智能水平，具备自主学习、判断和创造等能力。对于企业人而言，其将不再局限于思考“如何在产品/流程中增加智能化能力，而需 要更多关注“如何使用人工智能实现产品/流程的革新”，基于海量数据训练和模型调优，人工智能大模型具有更情准的执行能力和更强大的场景可迁移性，为人工智能在诸如元宇宙， 城市治理、医疗健康、科学研究等综合复杂性场景中的广泛应用，提供更好的方案。 IDC调研发现，全球企业普遍关注并探索对生成式人工智能的布局，全球超八成被访企业已经开始展开相关实践行动，探索适用的落地场景；2023年，超过四分之一的企业已经对生成式人工智能技术进行了大量资金投入。 图1全球企业对生成式人工智能的态度 人工智施 机器节习■全球 35.0% 29.3%29.3% 30.0% 25.0% 25.3% 20.0% 15.0% 15.3% 10.0% 5.0% 0.0% 我们还什么 我们正在检我们正在进 0.90% 我们已经在不清能 得发有做 理应用场行一些模型 景，但还没初步测试和 智能方面进 有在核术域 提念验证，行了大量资 模型构建上但还没有确 会投入，在 进行投资 定支出计划 请练和应用大接型方面创定了支出 来源;IDC,2023 第一章1人工智能发展迈入新阶段06 从应用场景来看，IDC认为，知识管理、对话式应用、销售和营销、代码生成等是全球企业应 用生成式人工智能的主要场景。其中，知识管理有望成为最有应用价值的生成人工智能用 例，通过人工智能手段，企业可实现对文本、图像和规频等知识内容的高效分析和管理，降 低劳动密集型投入。 图2生成式人工智能最具价值应用场量 ■全球北美地区(NA)欧洲，中东和非洲超区(EMEA)■亚太地区（AP) 知识管理 对话式应用 设计 代码生成 销售租营销 0.0%10.0%20.0%%O0E40.0%50.0%60.0% 未8:DC,2023 目前，各国都在加强对大模型和生成式人工智能的布局和支持，以推动人工智能技术的快速 发展和应用： 美国持续推进各界在人工智能领域的快速发展，鼓励企业及科研机构积极创新，形成以科技巨头为引领的发展格局。通过准动基础研究和应用研究的发展，美国在基础大模型研发和生成式人工智能应用方面建立起优势，打造了现象级生成式人工暂智能产品，并将 生成式人工智能技术广泛应用于行业领域和业务场景。2023年，白宫更新发布了《国家 人工智能研发战略计划》，鼓励在控制安全风险的前提下，持续探索创新人工智能应 用，促进研发投资，鼓励人才培养和产业合作。 欧洲地区受到石油和天然气价格上涨、高通货膨胀、人员和技能短缺，以及供应链中断 等因素影响，更重视技术对降本增效的积极准动作用，因而对智能化技术的关注较高。 但欧洲地区整体对人工智能尤其是生成式人工智能在安全、隐私等方面的顾虑较多，故 当前优先推动相关领域法律法规的建设和实施。2023年，欧置批准《人工智能法案》对涉及大量数据训练的人工智能系统提出了透明度和风险评估要求；欧盟还加强对人工 智能伦理道德的监管，保护数据隐私和数据安全，加强对生成式人工智能的监管和审查持续对自动驾驶系统，数育、移民和就业决策系统中的人工智能应用影响力进行评估。 第一章1人工智能发展迈入新阶段07 在亚太地区，中国、印度、新加坡、韩国、日本等国家积吸制定国家人工智能战略，准进各项超大型生成式人工智能相关方案的落地。韩国政府重视人工智能基础设施和环境的发展，推动人工智能在各个领域的应用；日本政府通过加大投入和政策支持，推动生成式人工智能的研究和应用，并决定向企业提供资金补助，推进高算力基础设施的建设； 在中国，政府加大了对生成式人工智能研究的支持力度，企业和科研机构也加速准动生成式人工智能的研究和应用，加速研究人工智能与实体经济、社会治理、民生服务等领 域深度驻合，促进技术的广泛应用和产业化发展；中国人工智能的发展在东南亚部分国 家也逐步形成溢出效应，带动该地域相应产业的发展， 计算范式之变：复杂的模型和大规模的训练需要大规模的高算力支持，这不仅需要消耗 生成式人工智能和大模大量计算资源，而且对算力的速度、精度、性能也提出更高要求。基于持续演进的算力 型将引发计算范式之变、架构，不断