行业研究公司研究宏观策略财报招股书会议纪要 Token 低空经济十五五 AIGC 大模型

规模扩展与架构演进白皮书

信息技术 2025-03-28 AFL John

人工智能（AI）、机器学习（ML）和大型语言模型（LLMs）简介：AI旨在执行通常需要人类智能的任务，ML训练算法以推断意义并提供对独特提示的准确类似人类的响应，DL是无需人类干预的ML，使用人工神经网络（ANN）在多个阶段处理输入刺激，并能识别复杂数据集中的关系，LLMs是专门处理语言的深度学习模型。
人工智能自2017年以来的演变：Transformer模型的出现是重要里程碑，其基于注意力机制，使序列标记相对于彼此进行分析，提高训练速度，并捕捉数据中的长距离依赖关系，Transformer模型已成为LLM架构设计的基石。
趋势：转向更大的AI模型：模型规模呈指数增长，得益于对性能提升的追求，导致模型拥有数百亿个参数甚至更多，计算硬件的进步推动了这一趋势，但也带来了成本、可访问性和可持续性方面的挑战。
全球格局：人工智能市场估值预计到2035年将达到1万亿美元，美国、英国、以色列、加拿大和法国是主要贡献者，大型科技公司如微软、Meta和亚马逊预计将投资1万亿美元。
计算大型模型的计算需求：训练大型人工智能模型所需的计算能力每3.4个月翻一番，训练一个万亿参数模型需要70,000个与NVIDIA H100等效的加速器。
人工智能硬件的进步：AI优化的GPU提供巨大的并行性，非常适合训练大型神经网络，GPU、TPU和ASIC模块成为主流，辅以支持AI优化的组件，被称为加速器。
扩大基础设施规模：数据中心基础设施必须随着人工智能计算的增长而扩大，高容量冷却解决方案是必要的，云解决方案能源成本数据中心扩展边缘计算功耗。
主要玩家和风险投资家投资：风险投资（VC）公司关键投资推动下的人工智能创新，2023年500亿美元投资于AI领域，主要科技巨头和风险投资家对初创企业投入数十亿美元。
现代人工智能模型的发展：模型类型已转向深度学习，变换器已成为自然语言处理中的事实标准，模型规模呈指数增长，计算硬件的进步推动了这一趋势。
关键驱动因素推动演变：算法创新、数据可用性、硬件进步、社区和开源贡献。
工艺节点转换：半导体技术的进步是提升人工智能能力的关键，先进的光刻技术是必需的，下一代技术提供改进的性能和效率。
芯片、系统和封装技术的创新：先进封装技术正在开发中，能够实现将越来越复杂的系统组装成单个微电子封装，芯片拼图是未封装的、模块化集成电路，可以组合成更大的单一系统单元。
扩展人工智能：规模化提升和扩展策略，包括垂直扩展和水平扩展，每种方法都旨在优化性能，高效管理资源，并满足AI应用不断增长的计算需求。
网络计算存储：人工智能机器学习训练使用并行计算方法将大型模型和大型数据集分割成更小的作业，每个工作加速器处理训练任务的微小部分，更新模型参数，并将更新与所有其他工作器共享。
高带宽网络：高带宽网络在同步人工智能模型训练中扮演着至关重要的角色，后端网络流量可能间歇且快速变化，每个加速器在每轮训练阶段之间必须交换数以吉字节计的训练数据和模型参数。
光学相干技术：采用了光载数字信号的替代编码和解码方式，从而在消耗更少能耗的情况下实现更高的频带宽度和更长的传输距离，适用于数据中心应用的小型化收发器中的光学相干技术已进入市场。
分段模型：模型的分割和训练，使得超大规模的训练工作量可以分布在多个段之间，参数更新定期进行，集群同步一次，每4步集群同步一次，每两步进行一次4个集群同步。
地理分布式的训练：数据中心互联（DCI）中的中长距离链路，分段模型、全局参数服务器以及非同步更新。
结论：有效的扩展策略必须结合向上扩展和向外扩展，同时仔细关注实际数据中心设计和先进的冷却方法，随着人工智能模型持续增大和复杂化，对强大、高速网络和高效热管理的需求也将增加。