英伟达发布H200,主要在内存容量和内存带宽上及性能升级。NVIDIA在S23大会上突然推出新一代的GPU H200,是全球首款搭载HBM3e内存的GPU,拥有4.8TB/s的内存带宽,较H100增加1.4倍。H200还将GPU的内存容量扩展到141GB,几乎是H100的80GB的两倍。 虽然算力和H100保持不变,但出色的内存性能使得H200相较于H100在推理性能上最高提高至2倍,在能耗和TCO成本方面可以降低至H100的50%。 GPT-5在开发中,短缺的训练数据为最大掣肘。OpenAI的CEO表示与微软的合作良好,预计随着时间推移,会从微软和其他投资者那里获得更多的融资,用于开发更强大的模型。GPT-5将比OpenAI之前发布的所有模型都特殊、复杂。从技术层面来看,很难精准预测该模型到底有哪些新功能。除了更强的技术架构之外,需要海量数据集进行训练包括互联网公开的和非公开的专属私有数据。所以,短缺的训练数据将是开发GPT-5的一个重要难点。 GPT-4V在多模态数学推理方面仍有挫败感,与人类表现仍有一定差距。微软最近发布了名为“MathVista”的全新多模态数学推理基准数据集,并对12个最新的大型模型进行了全面评估。实验结果显示,目前性能最强的GPT-4V在与人类表现相比,仍有一定差距,主要是由于它在理解复杂图形和进行严密推理方面的不足。GPT-4V等大模型在理解复杂图形和进行严密推理方面仍有十足的进步空间。 投资建议:继续重点推荐AI光互联板块。1)海外光模块核心标的:推荐【天孚通信】、【新易盛】;2)国产光模块核心标的:推荐【光迅科技】,受益标的【华工科技】;3)光芯片国产渗透机会:【仕佳光子】、【光库科技】。 催化剂:更多AI应用出现,GPT-5发布。 风险提示:AI应用发展不及预期,海外开支不及预期。 1.英伟达发布H200,高性价比全面升级 在11月13日的S23大会上,NVIDIA宣布推出NVIDIA HGX H200,为生成式人工智能和高性能计算(HPC)工作负载提供强大支持。根据介绍,新的H200 GPU是当前H100的升级产品,作为第一款搭载HBM3e的GPU,H200集成了141GB的内存,更大更快的内存推动生成式人工智能和大型语言模型(LLM)的加速,同时推进科学计算在HPC工作负载中的发展,在用于推理或生成问题答案时,性能较H100提高60%至90%。 H200主要在内存带宽和内存容量上进行提升 为了最大化计算性能,H200是全球首款搭载HBM3e内存的GPU,拥有4.8TB/s的内存带宽,较H100增加了1.4倍。H200还将GPU的内存容量扩展到141GB,几乎是H100的80GB的两倍。更快速和更大容量的HBM内存的结合,加速了计算密集型的生成式人工智能和高性能计算应用的性能,同时满足了不断增长的模型大小的需求。对比H100和H200的性能参数,在算力指标上H200和H100完全一样。H200的所有改进都集中在更快速和更高容量的141GB HBM3e的引入。 图1:H200较H100的各项性能参数对比 H200相较于H100在推理性能上最高提高至2倍 H200的推理表现相较于H100在各大不同的模型都具有明显的提升。与处理类似Llama2(一个700亿参数的LLM)的LLMs时相比,相较于H100 GPU,H200在推理速度上提高了最多2倍。 图2: H200同H100在不同模型下的推理表现对比 高内存带宽激发高性能计算表现 内存带宽对于高性能计算应用至关重要,因为它能够实现更快的数据传输,减少复杂的问题处理。对于内存密集型的高性能计算场景,如仿真、科学研究和AI,H200的更高内存带宽确保数据可以被高效地访问和操作,从而在与CPU相比,实现高达110倍更快的生成结果时间。 图3: H200较前代CPU和GPU处理器在高性能计算上的表现对比 降低能耗和总拥有成本(TCO) H200的引入使得AI数据中心能源效率和TCO进一步提升。H200在性能相较H100具有明显提升的背景下,保持了与H100相同的功耗。以Llama2 70B这样的模型去推理衡量看,H200的性能是H100的两倍,在功耗相同的情况下,成本是原来单位成本的一半。 图4: H200相较H100减少能耗和TCO可达50% 2.AI风向标:产业最新动态整理 【全球:OpenAI CEO:GPT-5在开发中,拟进一步向微软寻求资金支持】据《金融时报》消息,OpenAI计划从其最大的投资者微软那里获得进一步的资金支持。Altman在接受英国《金融时报》采访时表示,公司与微软CEO萨蒂亚·纳德拉的合作关系「运作得非常好」,他预计「随着时间推移,将从这家科技巨头和其他投资者那里筹集更多资金」,以覆盖构建更复杂人工智能模型的高昂成本。Altman表示,该公司还在开发下一代人工智能模型GPT-5,不过他没有承诺发布时间表。这将需要更多的数据,Altman表示,这些数据将来自互联网上公开可用的数据集以及公司的专有数据。OpenAI最近发布了一项号召,要求从组织中获取大规模的数据集,这些数据集「目前还不容易从网上公开获取」,特别是对于任何形式的长篇写作或对话。虽然GPT-5可能比其前辈更加复杂,但Altman表示,技术上很难准确预测该模型可能具有哪些新功能和技能。(公众号:AI新智界) 点评:短缺的训练数据将是开发GPT-5的一个重要难点,这也是为什么虽然仅仅发布了几天,但是大家很看好马斯克旗下xAI团队发布的Grok大模型,因为它使用的是推特的数据进行训练,在训练数据方面具有很大的优势。目前大模型的竞争格局仍是百家争鸣,未来谁能脱颖而出做出划时代的产品仍尚未定论,而下游应用这样的高速迭代也让上游的光模块及算力芯片厂商不断受益,未来有望不断突破预期。 【全球:GPT-4V在多模态数学推理方面仍有挫败感,与人类表现仍有一定差距】微软最近发布了名为“MathVista”的全新多模态数学推理基准数据集,同时提供了一份涵盖112页的详细评测报告,专注于大型多模态模型的数学推理表现。这一基准测试对于目前最先进的模型,如GPT-4V,来说也是一项挑战,显示了这些模型在多模态数学问题解决方面的局限性。数学推理能力被视为实现通用人工智能的关键一步。除了传统的纯文字场景,许多数学研究和应用还涉及到丰富的图形内容,这为模型的多模态处理能力提出了更高的要求。这些模型在视觉场景下的数学推理能力尚未被系统地研究。为了探索这一领域,微软联合加州大学洛杉矶分校(UCLA) 和华盛顿大学(UW)共同开发了全新的MathVista基准数据集。这个数据集结合了多种数学和视觉任务的挑战,包含6141个问题,来源于28个现有的多模态数据集和3个新标注的数据集,包括IQTest、FunctionQA和PaperQA。MathVista中丰富的任务类型、推理方式和图像类型对现有的大型模型构成了巨大挑战。 微软的研究报告对12个最新的大型模型进行了全面评估。实验结果显示,目前性能最强的GPT-4V在MathVista上达到了49.9%的准确率,显著优于排名第二的Bard模型,领先了15.1%。然而,与人类表现相比,GPT-4V仍有10.4%的差距。这种差异主要是由于它在理解复杂图形和进行严密推理方面的不足。(公众号:机器之心Pro) 点评:数学推理能力被视为实现通用人工智能的关键一步,虽然今日多模态的GPT给大家带来了许多亮眼的表现,出现了很多火热的应用,但是这份研究无疑给大家对于GPT的期待泼了一盆冷水,也说明了GPT-4V等大模型在理解复杂图形和进行严密推理方面仍有十足的进步空间,AGI的发展还有很长的路要走。 图5:不同模型在MathVista数据集上的表现对比 【全球:GPT-4V面临幻觉挑战,分不清「松糕和吉娃娃」、「泰迪犬和炸鸡」】在被称为「AI春晚」的OpenAI首届开发者大会拉开帷幕后,很多人的朋友圈都被这家公司发布的新产品刷了屏,比如不需要写代码就能定制应用的GPTs、能解说球赛甚至「英雄联盟」游戏的GPT-4视觉API等等。在大家纷纷夸赞这些产品有多好用的时候,也有人发现了弱点,指出像GPT-4V这样强大的多模态模型其实还存在很大的幻觉,在基本的视觉能力上也还存在缺陷,比如分不清「松糕和吉娃娃」、「泰迪犬和炸鸡」等相似图像。(公众号:机器之心,新智元) 点评:学者们的发现,揭示了计算机视觉领域的重大挑战——当多个图像同时呈现,模型识别的难度就会大大提升。而时下流行增强推理方法——自我纠正(Self-Correction)和思维链(CoT)推理,对GPT-4V也并不那么管用,AI在处理幻觉问题方面仍需要进一步的迭代进步。 图6: GPT无法分清松糕和吉娃娃 3.投资建议:关注光互联板块机遇 投资建议:1)海外光模块核心标的:推荐【天孚通信】、【新易盛】; 2)国产光模块核心标的:推荐【光迅科技】,受益标的【华工科技】 3)光芯片国产渗透机会:【仕佳光子】、【光库科技】。 表1:相关标的盈利预测(截止至11月14日) 4.风险提示 AI应用发展不及预期。如果AI应用短期内无法实现大批量应用,对于AI的投入方而言可能投入产出比较低,或导致他们减缓对AI硬件端的投入。为此,我们认为如果下游AI应用发展不及预期可能导致AI光模块等板块受到不利影响。 海外开支不及预期。当前AI带来的投入主要来自北美云厂商客户,如果北美云厂商在后续AI硬件设施投入上不足,可能对产业上游(光模块等)需求拉动不及预期。