通信行业周报2024年第16周：移动采购7994台AI服务器，META发布Llama3大模型

行业要闻追踪：运营商智算服务器采购规模持续增长。中国移动4月18日发布2024年至2025年新型智算中心采购公告，计划采购7994台人工智能服务器和以太网交换机60台。此前，今年2月和去年9月，移动分别采购了超过1200台AI服务器；联通在今年3月规划采购了超2500台AI服务器，电信在去年10月规划采购了4175台AI服务器。移动正推进以太网在智算中心的发展。本次招标明确采购以太网交换机，移动于去年8月携手30余家合作伙伴启动“全调度以太网（GSE）推进计划”，并在今年4月10日发布了《新型智算中心以太网物理层安全架构白皮书》。 Meta在4月19日推出开源大模型Llama3。Llama3有8B和70B两个版本，其训练是基于超过15万亿token的数据集，支持8K长文本，配备了改进的tokenizer，词汇量高达128K。Llama38B的成绩在基准测试中领先同行，Llama370B版本的性能超越了Mistral、OpenAI和Claude发布的对应模型。META还发布了AI助手的更新版本，已集成到WhatsApp、Instagram、Facebook和Messenger等全系应用。 行业重点数据追踪：1）运营商数据：据工信部，截至2024年2月，5G移动电话用户达8.51亿户，占移动电话用户的48.8%；2）5G基站：截至2024年2月，5G基站总数达350.9万个；3）云计算及芯片厂商：2023Q4，国内三大云厂商资本开支合计200.4亿元（同比+50%，环比+28%）；2023Q4，海外三大云厂商及Meta资本开支合计432.4亿美元（同比+9%，环比+16%）。 行情回顾:本周通信（申万）指数下跌0.56%，沪深300指数下跌0.21%，板块表现强于大市，相对收益-0.35%，在申万一级行业中排名第16名。在我们构建的股票池里有178家公司（不包含三大运营商），平均涨跌幅为-5.32%。 投资建议：关注国产算力发展，重视运营商分红率提升 （1）短期视角，全球AI行业不断变革发展，我国高度重视算力基础设施建设，政府政策频出，产业趋势确定，持续关注算力基础设施：光器件光模块（中际旭创、天孚通信等），通信设备（中兴通讯、紫光股份等），液冷（英维克、申菱环境等）。近期低空经济政策频出，低空网络覆盖至关重要，建议关注北斗导航相关供应商华测导航等。 （2）中长期视角，中国移动和中国电信规划2024年起3年内将分红比例提升至75%以上，高股息价值凸显，建议关注三大运营商。 4月推荐组合：中国移动、天孚通信、英维克、华测导航、菲菱科思。 风险提示：宏观经济波动风险、数字经济投资建设不及预期、AI发展不及预期、中美贸易摩擦等外部环境变化。 产业要闻追踪 （1）中国移动发布《2024年至2025年新型智算中心采购_招标公告》 事件：2024年4月18日，中国移动发布《中国移动2024年至2025年新型智算中心采购_招标公告》，计划采购7994台人工智能服务器及配套产品、以太网交换机60台。本项目划分2个标包，具体划分如下： 标包1：采购特定场景AI训练服务器7994台及配套产品，中标人数量为5至7家；若中标人数量为5家，中标份额依次为27.78%、22.22%、19.44%、16.67%、13.89%；若中标人数量为6家，中标份额依次为23.91%、19.57%、17.39%、15.22%、13.04%、10.87%；若中标人数量为7家，中标份额依次为21.05%、17.54%、15.79%、14.04%、12.28%、10.53%、8.77%。 标包2：采购白盒交换机60台，中标人数量为1家，中标份额为100%。 图1：中国移动2024年至2025年新型智算中心采购招标公告发布 亮点一：运营商持续加大智算投资 中国移动招采AI服务器7994台及配套产品和以太网交换机60台。此前，2024年2月8日，中国移动发布《中国移动2023年至2024年新型智算中心(试验网)采购(标包12)中标候选人公示》，合计采购规模1250台特定场景AI训练服务器。 当时中标报价约24.7亿元每台，假设按照上次报价估算，本期采购规模大约158亿元。 表1：中国移动2024年至2025年新型智算中心采购具体标包划分 运营商智算服务器采购规模持续增长。近两年，三大运营商加强云计算发展：2024年3月23日，中国联通发布《2024年中国联通人工智能服务器集中采购项目资格预审公告》，采购人工智能服务器2503台。 2023年9月28日，中国移动发布《中国移动2023年至2024年新型智算中心(试验网)采购(标包1-11)_招标公告》，共计采购1204台AI服务器，高性能无损交换机324台，RoCE交换机204台。 2023年10月，中国电信AI算力服务器(2023-2024年)集中采购规模预计达到4175台。项目总额有望超80亿元。 图2：2024年中国联通人工智能服务器集中采购项目资格预审公告 图3：中国电信AI算力服务器（2023-2024年）集中采购项目中标候选人公示 亮点二：国内智算中心布局集采以太网交换机 本次移动招标中交换机明确要求以太网交换机。近两年以移动为代表的产业巨头，正推动以太网在智算中心快速发展： 2023年8月，中国移动研究院携手30余家合作伙伴启动“全调度以太网（GSE）推进计划”，基于逐包的以太网转发和全局调度机制，突破传统无损以太性能瓶颈，2023年9月，中国移动研究院携手合作伙伴发布业界首款“全调度以太网（GSE）”样机。 2024年4月10日，2024年云网智联大会主论坛上，中国移动研究院携手中国信通院、腾讯云、华为、中兴、博通、清华大学、Credo、橙科微电子、新华三、锐捷、Intel、盛科、思博伦等30余家合作伙伴，联合发布《新型智算中心以太网物理层安全(PHYSec)架构白皮书》，旨在提出以太网物理层安全PHYSec技术的需求、愿景、技术架构和部署建议。新型智算中心以太网物理层安全(PHYSec)架构，通过在以太网物理层对比特流进行加密来保护所有上层协议，具备低时延、低开销、协议透明等特性。 图4：2024年中国联通人工智能服务器集中采购项目资格预审公告 图5：中国移动研究院携手合作伙伴发布业界首款“全调度以太网（GSE）”样机 （2）Meta推出开源大模型Llama 3 事件：美国科技巨头Meta在4月19日推出了其最强大的开源人工智能(AI)模型Llama3。Meta首席执行官扎克伯格表示，Llama3有8B和70B两个版本，涵盖预训练和指令调优的变体。Llama3是目前开源领域最强大的LLM，其训练基于超过15万亿Token，且全部来自公开的数据源；这个数据集是Llama 2的七倍大，含有的代码量是其四倍；训练效率比Llama2高3倍，支持8K长文本。 此外，Meta还同时发布了AI助手的更新版本。该助手将在Meta的Facebook、Instagram、WhatsApp和Messenger应用以及一个新设立的独立网站Meta.ai中获得更突出的地位，让Llama 3能够更直接地与微软支持的OpenAI的热门产品ChatGPT竞争。 图6：Meta推出Llama3模型 亮点一：Llama3测试表现良好 Llama3 8B的成绩在九项基准测试中领先同行。Meta展示的基准测试结果包括MMLU、ARC、DROP、GPQA（生物、物理、化学相关的问题集）、HumanEval（代码生成测试）、GSM-8K（数学应用测试）、MATH（同为数学相关基准测试）、AGIEval（问题解决的测试集）以及BIG-BenchHard（常识推理测试）。在MMLU、HumanEval和GSM-8K上，Llama 370B击败了Gemini1.5Pro。 图7：基准测试结果展示 在Meta组织的人类反馈评分中，Llama370B打败了Mistral、OpenAI、Claude的对应产品。Meta测试了Llama3在真实世界场景中的性能，专门开发了一个新的高质量人类评估集，这个人类反馈测试更贴近用户实际的使用体验，包括了最常见的大模型使用场景：头脑风暴、创意写作、角色扮演、复述、推理、总结等12种关键用例。 图8：META人类评估集结果展示 亮点二：META不断优化算法，持续扩大训练模型 Llama3在24KGPU集群上训练，基于超过15T的token，提供了8B和70B的预训练和指令微调版本，可以支持广泛的应用。模型架构、预训练数据、扩大预训练规模和指令微调，是Llama3成为最强开源LLM的四个关键要素： 模型架构：Llama3采用标准的纯解码器transformer架构，其使用了一个128Ktoken的tokenizer，它能更有效地编码语言，从而大幅提高模型性能。 为了提高Llama3模型的推理效率，Meta在8B和70B大小的模型中使用了分组查询关注（groupedqueryattention，GQA）。他们在8192个token的序列上对模型进行了训练，并使用掩码来确保自注意力不会跨越文档边界。 训练数据：Llama3在超过15T的token上进行预训练，训练数据集是Llama 2的七倍，包含的代码数量也是Llama2的四倍。Llama3预训练数据集中有超过5%的高质量非英语数据，涵盖30多种语言。为了确保Llama 3在最高质量的数据上进行训练，Meta开发了一系列数据过滤管道。这些管道包括使用启发式过滤器、NSFW过滤器、语义重复数据删除方法和文本分类器来预测数据质量。前几代Llama在识别高质量数据方面的表现令人惊讶，因此使用Llama 2为文本质量分类器生成训练数据。 扩大预训练规模：为了在Llama 3模型中有效利用预训练数据，Meta为下游基准评估制定了一系列scalinglaws，这些scalinglaws使他们能够选择最佳的数据组合，并就如何更好地使用训练计算做出最佳决定。在开发Llama3的过程中，他们对scaling行为进行了一些新的观察。例如，虽然8B参数模型的最佳训练计算量相当于约200B token，但实际上，即使模型在多两个数量级的数据上进行训练后，其性能仍在不断提高。Llama38B和70B参数模型在经过多达15Ttoken训练后，其性能仍呈对数线性增长。为了训练最大的Llama3模型，Meta结合了三种并行化方式：数据并行化、模型并行化和管道并行化。当同时在16KGPU上进行训练时，他们最高效的实现实现了每GPU超过400TFLOPS的计算利用率。META在两个定制的24K GPU集群上进行了训练运行。他们开发了一种新的训练堆栈，可以自动检测、处理和维护错误。他们还大大改进了硬件可靠性和无声数据损坏检测机制，并开发了新的可扩展存储系统，减少了检查点和回滚的开销。这些改进使总体有效训练时间缩短了95%以上，与Llama2相比，将Llama3的训练效率提高了约三倍。 指令微调：为了在聊天用例中充分释放预训练模型的潜力，Meta还对指令微调方法进行了创新。他们的后期训练方法结合了监督微调（SFT）、拒绝采样、近似策略优化（PPO）和直接策略优化（DPO）。在SFT中使用的提示以及在PPO和DPO中使用的偏好排序的质量，对排列模型性能有影响。通过精心设计这些数据并对人工标注的质量进行多轮审核，可显著提高模型的质量。 Meta官方表示，Llama 3 8B和70B模型只是Llama3系列模型的一部分，他们后续还将推出更多版本，包括模型参数超过400B的Llama3版本（目前仍在训练中）。 图9：模型参数超过400B的Llama3版本（目前仍在训练中） 亮点三：Meta提供的AI助手能力性能强大 META的AI助手应用面广。基于最新的Llama 3模型，Meta的AI助手现在已经覆盖Instagram、WhatsApp、Facebook等全系应用，并单独开启了网站。另外还有一个图像生成器，可根据自然语言提