通信行业研究周报：NVIDIA新nGPT使训练速度增长20倍，“千帆星座”将迎来常态化发射

NVIDIA新nGPT使训练速度增长20倍，“千帆星座”将迎来常态化发射 本周行业动态： 英伟达nGPT重塑Transformer，AI训练速度增长20倍 最近，英伟达团队抛出的一枚重磅炸弹，提出了全新神经网络架构——归一化Transformer（nGPT），基于超球面（hypersphere）进行表示学习。 相较于Tra nsformer架构本身，nGPT直接将LLM训练速度提升至高20倍，而且还保持了原有精度。实验数据表明，在1k、4k和8k token上下文中，训练0.5B和1B的nGPT模型分别约快4倍、10倍和20倍。 “千帆星座”将迎来常态化发射 10月15日19时06分，我国在太原卫星发射中心使用长征六号改运载火箭，成功将千帆极轨02组卫星发射升空，卫星顺利进入预定轨道，发射任务获得圆满成功。随着“千帆星座”第二批组网卫星的成功发射，“千帆星座”在轨卫星数量增至36颗。“千帆星座”部署计划主要分为三期：一期部署648颗卫星，提供区域网络覆盖；二期部署1296颗卫星，实现全球网络覆盖；三期规划由超过1.5万颗卫星提供多元业务融合服务，将于2030年建成。 本周投资观点： 近期随着相关政策出台，中国资产迎来机遇。我们认为：产业趋势高景气，有强产业逻辑&高增业绩的公司值得持续重视。 中长期我们建议持续重视“AI+出海+卫星”核心标的的投资机会：海外线AI核心方向如光模块&光器件、液冷等领域值得重视，持续核心推荐；此外国产算力线如国产服务器，交换机，AIDC、液冷等方向核心标的建议积极关注。海风行业国内加速复苏，海外出海具备良好机遇，积极把握产业变化，核心推荐海缆龙头厂商。近期看到卫星互联网产业国内动态进展呈现，看好后续产业受催化拉动。 一、人工智能与数字经济： 1、光模块&光器件，重点推荐：中际旭创、新易盛、天孚通信、源杰科技（电子联合覆盖）；建议关注：光迅科技、索尔思、鼎通科技、光库科技、博创科技、仕佳光子、中瓷电子（新材料联合覆盖）、铭普光磁、剑桥科技等； 2、交换机服务器PCB：重点推荐：沪电股份、中兴通讯、胜宏科技、紫光股份（计算机联合覆盖 ）、菲菱科思；建议关注：盛科通信、锐捷网络、三旺通信、映翰通、东土科技等； 3、低估值、高分红：中国移动、中国电信、中国联通。 4、AIDC&散热：重点推荐：英维克（机械联合覆盖）、润泽科技（机械联合覆盖）、润建股份、科华数据（电新联合覆盖）、奥飞数据（计算机联合覆盖）。建议关注：光环新网、高澜股份、科创新源、申菱环境、数据港等； 5、A IGC应用，建议关注：彩讯股份、梦网科技。 二、海风海缆&智能驾驶： 1、海风海缆：重点推荐—亨通光电、中天科技、东方电缆（电新覆盖）； 2、出海复苏&头部集中，重点推荐：华测导航（计算机联合覆盖）、拓邦股份（电子联合覆盖 ）、亿联网络、 移为通信、威胜信息（机械联合覆盖）广和通，建议关注：和而泰、移远通信等。 3、智能驾驶：建议关注：模组&终端（广和通、美格智能、移远通信、移为通信等）；传感器（汉威科技&四方光电-机械联合覆盖）；连接器（意华股份、鼎通科技等）；结构件&空气悬挂（瑞玛精密）等。 三、卫星互联网&低空经济： 国防信息化建设加速，低轨卫星加速发展，低空经济积极推进，重点推荐：华测导航（计算机联合覆盖）、海格通信；建议关注：铖昌科技、臻镭科技、盛路通信、信科移动、上海瀚讯、佳缘科技、盟升电子、中国卫通、电科网安、海能达等。 风险提示：AI进展低于预期，下游应用推广不及预期，贸易摩擦等风险 重点标的推荐 1.近期重点行业动态以及观点（10.14-10.18） 1.1.AI行业动态： Meta发布新AI模型：可自查和审查其他AI模型工作（快科技） 据媒体报道，Meta研究部门近日宣布推出了一系列创新的人工智能（AI）模型，其中尤为引人注目的是一款具有划时代意义的自学评估器。这款工具旨在大幅减少AI系统开发过程中对人类参与的依赖。 这款自学评估器采用了先进的思维链技术，该技术能够将复杂问题巧妙地分解为一系列更小、更易于处理的逻辑步骤，从而显著提升了解决问题的精确性。尤为独特的是，该评估器完全依靠AI自主生成的数据进行训练，彻底摒弃了传统的人工数据输入方式。 Meta的研究人员指出，这款AI模型不仅具备出色的自我评估能力，还为构建能够自我学习、从错误中不断成长的自主AI系统奠定了坚实的基础。他们坚信，自学能力和自我评估机制将是推动AI迈向超越人类水平的关键所在。 相较于依赖人类反馈的强化学习（如RLHF）等传统方法，这款自我评估的AI模型在简化开发流程、提升准确性以及降低对人工监督的依赖方面展现出了显著优势。 此外，Meta还发布了其他多项AI工具，包括对公司图像识别模型Segment Anything的更新、一种能够显著加快大语言模型（LLM）响应生成速度的工具，以及一个可用于探索新型无机材料的数据集。这些工具的发布进一步展示了Meta在AI领域的深厚实力与前瞻视野。 英伟达nGPT重塑Transformer，AI训练速度增长20倍（微信公众号：AI领域技术栈） 最近 ， 英伟达团队抛出的一枚重磅炸弹 ， 提出了全新神经网络架构— —归一化Transformer（nGPT），基于超球面（hypersphere）进行表示学习。相较于Transformer架构本身，nGPT直接将LLM训练速度提升至高20倍，而且还保持了原有精度。 （1）架构创新 nGPT通过将所有向量归一化为单位范数，使得输入后的token在超球面表面上移动，每一层都通过“位移”来贡献最终的输出预测。这种创新的设计不仅简化了计算过程，更在超球面上实现了更高效、更稳定的表示学习。 （2）效率提升 为了验证nGPT的性能优势，研究人员在OpenWebText数据集上进行了大量的实验。实验结果表明，在迭代次数和使用token数量方面，nGPT实现了显著的加速。在10亿参数且样本长度为4k token的情况下，nGPT经过2万次迭代后达到了与GPT在20万次迭代后相同的验证损失水平。这一结果充分证明了nGPT在训练效率上的卓越表现。此外，研究人员还进一步分析了nGPT在不同上下文长度、参数规模等条件下的性能表现。实验数据表明，在1k、4k和8k token上下文中，训练0.5B和1B的nGPT模型分别约快4倍、10倍和20倍。这一结果不仅验证了nGPT的加速效果，更展示了其在处理长文本任务上的巨大潜力。 （3）精度保持 nGPT对输入和输出嵌入向量进行归一化处理，提高了相似性估计的准确性；同时，通过引入因果掩码等机制，确保了模型在预测过程中的信息不泄露，从而进一步提升了训练效率。在参数更新方面，nGPT也展现出了独特的优势。它通过将参数更新过程描述为在超球面上寻找两点之间的最短路径问题，引入了球面线性插值等数学方法，使得参数更新过程更加简洁、高效。这种设计不仅降低了计算量，更在保持精度的同时，提升了模型的收敛速度。 谷歌计划将Gemini并入Deepmind，下个月开始生效（微信公众号：智东西） 谷歌10月18日公告宣布，将Gemini a pp大模型应用团队并入其顶级AI研究机构Google DeepMind，以提高AI研发工作的效率。而谷歌智能语音助手Google Assistant团队则将并入该公司的平台和设备团队，以便加速其智能家居计划的落地。与此同时，原本负责谷歌搜索和广告业务的普拉巴卡尔·拉加万（Prabhakar Raghavan）将出任谷歌CTO，相关工作将由谷歌产品管理副总裁尼克·福克斯（Nick Fox）接任。 （1）Gemini模型和应用团队合并，AI技术更新落地更流畅 由Sissie Hsiao领导的Gemini app团队， 将并入Demis Hassabis领导的Google DeepMind团队，后续向哈萨比斯汇报工作。DeepMind是谷歌的AI研究实验室，其核心技术是一系列Gemini AI模型。谷歌及其母公司Alphabet的CEO桑达尔·皮查伊称，考虑到Gemini app是to C的产品，将其开发团队和Gemini模型开发团队之一整合在一起，不仅可以更高效地在Gemini app中部署最新版的Gemini模型，还能更及时地收集用户反馈，以便优化调整Gemini模型。与此同时，专注于设备和家庭体验的Assistant（智能语音助手）团队将并入平台和设备团队，以便熟悉其设计研发的产品实体。 （2）回归计算机科学专业领域，拉加万出任谷歌CTO 谷歌搜索和广告业务前高级副总裁普拉巴卡尔·拉加万将转任谷歌首席技术官。过往的12年时间里，拉加万在谷歌曾带领过研究、办公软件、广告、知识与信息团队。 他曾在办公软件团队牵头推出Gmail首批AI功能，包括智能回复和智能写作，期间Gmail和Drive用户数都突破了10亿大关。在知识与信息团队工作时，他改进了多个产品的核心搜索功能，例如，谷歌搜索的AI Overviews，Google Lens的“shop what you see”（ 所见即所得 ）。 谷歌地图的沉浸式视图 、 谷歌商城的虚拟试穿 、 谷歌的Performance Max广告系列中用到的AI技术，都少不了拉加万的统筹设计。此外，拉加万还为谷歌引入了Circle to Search（手势搜索）、视频理解等AI技术。 （3）21年老将福克斯接力，出任谷歌知识与信息团队高级副总裁 拉加万空出来的知识与信息（K&I）团队高级副总裁一职，将由同为谷歌老将尼克·福克斯（Nick Fox）接棒。此后，福克斯主要负责谷歌搜索、广告、地图和购物方面的产品。 过去几年里，福克斯一直在拉加万的麾下工作，共同制定知识与信息团队的发展策略，从搜索和智能语音助手的产品研发和设计，到商城、旅游、支付产品都有所涉猎。 英特尔与AMD携手成立x86生态系统顾问小组，以加速开发者及客户的创新（微信公众号：英特尔资讯） 英特尔和AMD宣布联合成立x86生态系统顾问小组。该顾问小组旨在汇集行业领导者，共同塑造x86架构的未来，并通过更统一的指令集和架构接口来推动开发者创新。此举将提升x86产品间的兼容性、可预测性和一致性。为此，顾问小组将向x86硬件和软件社区征求关于核心功能和特性的技术意见。 通过行业合作，双方将推动创建统一且兼容的关键的x86架构特性和编程模型，并将横跨数据中心、云、客户端、边缘和嵌入式设备等领域，为客户带来价值。预期成果包括： （1）为客户在硬件和软件方面提供更多选择和更强的兼容性，使其更快地受益于全新的尖端功能带来的提升；（2）简化架构指南，以提升英特尔和AMD的x86产品系列在软件一致性和接口方面的表现；（3）使新功能能够更广泛、更高效地集成到操作系统、框架和应用程序中。 作为业内强劲的竞争对手，英特尔和AMD同时也在推动平台级技术发展、制定行业标准和缓解x86生态系统安全漏洞方面有着长期的合作。他们共同推动了诸如PCI、PCIe和高级配置与电源接口（ACPI）等关键技术的创新，并在制定重要通用连接标准USB方面发挥了关键作用，该标准对各种处理器架构的计算机均至关重要。此顾问小组的成立，将行业合作提升至新的高度，促进整个计算生态系统的繁荣，并加速产品创新步伐。 1.2.卫星互联网动态： “千帆星座”将迎来常态化发射（微信公众号：通信世界、深圳市卫星互联网产业协会） 10月15日19时06分，我国在太原卫星发射中心使用长征六号改运载火箭，成功将千帆极轨02组卫星发射升空，卫星顺利进入预定轨道，发射任务获得圆满成功。随着“千帆星座”第二批组网卫星的成功发射，“千帆星座”在轨卫星数量增至36颗。 “千帆星座”由上海市政府支持，由上海市国资委旗下的垣信卫星公司主导。作为信息通信技术创新高地，上海市高度重视商业航天和卫星互联网，2023年发布了《上海市促进商业航天发展打造空间信息产业高地行动计划（2023-2025年）》，提出到