Marvell AI DAY概览:AI加速网络互联迭代,促进光通信市场发展 AI大规模集群有望带来更多的光互连需求。4月12日,Marvell举办AI day投资者大会,会上提出未来AI大规模集群或将带来更多网络互联需求,在前中后网络中具有大量光互连需求。ChatGPT 3.0在1000XPU集群上训练,对应2000个光学互连(XPU:光模块需求为1:2);ChatGPT 4.0在2.5万XPU集群上训练,对应7.5万个光学互连(XPU:光模块需求为1:3),Marvell预计未来对于更复杂的AI大模型,需要10万级甚至百万级规模的XPU集群。预计10万级XPU集群需要五层交换技术,对应50万个光学互连(XPU:光模块需求为1:5);预计100万级XPU集群需要十层交换技术,对应1000万个光学互连(XPU:光模块需求为1:10)。 工业设备投资有望持续增长,设备向高端化、数字化升级 政策推动工业设备投资持续增长,加快设备升级换代。2024年4月9日,七部门近日联合印发《推动工业领域设备更新实施方案》,提出到2027年,工业领域设备投资规模较2023年增长25%以上,规模以上工业企业数字化研发设计工具普及率、关键工序数控化率分别超过90%、75%;提出加快落后低效设备替代、更新升级高端先进设备、推广应用智能制造装备、加快生产设备绿色化改造,其中钢铁行业加快对现有高炉、转炉、电炉等全流程开展超低排放改造等。我们认为宝信软件作为国内领先的智能制造企业,产品包括大型PLC工控软硬件、工业互联网、AI大模型等,有望核心受益。 Gaudi 3 AI加速器发布,性能优于H100/H200,助力AI发展 英特尔发布Gaudi 3 AI加速器,对标H100/H200,后续将发布液冷版本。4月9日,英特尔发布Gaudi 3 AI加速器,采用 5nm 工艺,相比上一代产品,BF16 AI算力提升至4倍,FP8 AI算力提升至2倍,网络带宽和内存带宽分别提高至2倍和1.5倍,可实现系统大规模横向拓展。在主流的LLM中,Gaudi 3性能表现优于H100。Gaudi 3加速器包括OAM兼容夹层卡、通用基板、PCIe三种形式,Gaudi 3 OAM卡TDP高达900W,采用风冷散热,后续将更新发布液冷版本。公司预计Gaudi 3将于2024年第三季度上市,PCI附加卡将于第四季度上市。我们认为,AI加速器不断迭代,有望缩短模型训练迭代时间并加快推理速度,助力AIGC产业不断成熟,此外,随着AI算力芯片功率不断上升,有望加速从风冷向液冷散热切换,建议关注液冷温控领域。 Gemini 1.5 Pro和GPT-4 Turbo正式上线,AI模型持续迭代。4月9日,Gemini 1.5 Pro在180多个地区上线,新增支持音频和视频输入理解。同日,GPT-4 Turbo-2024-04-09正式上线,新增视觉功能。AI模型向多模态转换,模型持续迭代升级。 建议持续关注AIDC、光模块、液冷温控、AI服务器、交换机、光芯片、光器件、边缘算力等领域投资机会,AI+国产替代推荐标的:宝信软件;光模块推荐标的:中际旭创;液冷数据中心全链条受益标的:英维克;光模块受益标的:新易盛、天孚通信等;AIDC受益标的:润泽科技、光环新网、奥飞数据、科华数据、数据港等;AI服务器及交换机推荐标的:中兴通讯,受益标的:紫光股份、锐捷网络等;液冷配套设施受益标的:高澜股份、申菱环境、网宿科技等;光芯片及光器件受益标的:源杰科技、华西股份、光库科技、腾景科技等;光纤光缆受益标的:永鼎股份、通鼎互联、亨通光电、中天科技等;边缘算力受益标的:广和通、美格智能、移远通信等。 风险提示:5G建设不及预期、AI发展不及预期、智能制造发展不及预期、中美贸易摩擦等。 1、周投资观点:Marvell AI DAY总结:AI光互联潜力大 1.1、Marvell AI DAY概览:AI加速网络互联迭代,促进光通信市场发展 Marvell于北京时间2024年4月12日凌晨4:00举办AI day投资者交流会,Marvell作为全球领先的半导体供应商,在人工智能加速基础设施发展的背景下,本次大会分享了有关公司业务发展、AI网络互联等方面的信息和展望。 业务发展方面:AI加速业务:公司AI加速业务收入从FY2023的2亿美元增长至FY2024的5.5亿美元,预计FY2025和FY2026分别超过15亿美元和25亿美元; 图1:Marvell AI加速业务有望快速增长 市场应用方面:Marvell在数据中心的潜在市场规模有望从CY23的210亿美元增长到CY28的750亿美元(29%CAGR),其中加速计算定制芯片由66亿美元增长至429亿美元(45%CAGR),交换机芯片由61亿美元增长至120亿美元(15%CAGR),互联领域由43亿美元增长至139亿美元(27%CAGR),存储由42亿美元增长至59亿美元(7%CAGR),Marvell长期目标是从10%的市场份额增长至20%。 图2:Marvell预计潜在市场规模快速增长 (1)加速计算定制领域:公司拥有先进的设施平台,具备先进芯片工艺能力、丰富的ip、先进封装、多芯片互联、Chiplet、硅光等先进技术,可提供AI加速芯片以及安全、NIC/DPU、ARM架构、存储等多种定制芯片。客户上公司已和美国4大客户中的3家建立了AI芯片合作关系。 图3:Marvell拥有先进的设施平台 (2)数据中心互联领域:数据中心内部的前端网络/后端网络中,公司在DSP、驱动器、TIA方面保持领先,产品率先应用到8*200G的1.6T光模块中,Marvell积极构建AEC DSP产品生态系统,新增10亿美元DSP潜在市场规模;数据中心之间互联,公司在相干DSP、驱动器、TIA、硅光芯片方面保持领先,Marvell目前产品可以覆盖120km,针对更远距离已经开发出新技术PCS,使可插拔模块的覆盖范围扩展到1000公里,新增10亿美元潜在市场规模。 图4:Marvell数据中心互联产品矩阵丰富 (3)交换领域:Marvell计划加大AI云交换方面的投资,Marvell已在12.8T交换机芯片产品实现大规模量产,并推出51.2T交换芯片,预计将于2024年夏季量产。 图5:Marvell计划推出51.2T交换芯片 网络互联方面:Marvell进一步肯定了AI时代下网络互联的加速发展,我们认为,随着AI不断加速网络互联迭代,有望进一步带动光通信的市场需求。 (1)AI加速互联速度迭代发展。2023年作为AI元年,AI在一半的时间内将互联速度提升一倍,互联速度由过去的4年两倍变为2年两倍,由400G向着1.6T、3.2T等更高速发展。 图6:AI加速互联速度迭代发展 (2)AI大规模集群带来更多的光互连需求。ChatGPT 3.0在1000XPU集群上训练,对应2000个光学互连(XPU:光模块需求为1:2);ChatGPT 4.0在2.5万XPU集群上训练,对应7.5万个光学互连(XPU:光模块需求为1:3),Marvell预计未来对于更复杂的AI大模型,需要10万级甚至百万级规模的XPU集群。预计10万级XPU集群需要五层交换技术,对应50万个光学互连(XPU:光模块需求为1:5);预计100万级XPU集群需要十层交换技术,对应1000万个光学互连(XPU:光模块需求为1:10)。 图7:AI大规模集群带来更多的光互连需求 (3)AI训练和推理对集群存在差异化需求,催化新的基础设施建设。训练时,集群大,数量少。推理时,小集群,但数量多。但这两者都将驱动大量的光互联。 同时AI发展需要更多的电力、更好的制冷、有望推动更多的数据中心建设、对应更多的地点和更多的互联。 图8:AI训练和推理对集群存在差异化需求 (4)三种网络连接方式中前后端网络需要大量光互连。 计算结构连接:在一个服务器内连接多个XPU,通常使用短距铜缆连接,使用协议包括NVLink、Infinity Fabric、PCIe; 后端网络连接:用于一个集群类多个服务器连接,通过XPU的NIC/DPU的端口进行光缆连接,使用协议包括Infiniband、Ethernet; 前端网络连接:将服务器连接至数据中心,通过CPU的NIC/DPU的端口进行光缆连接,使用协议为Ethernet。 图9:三种网络连接方式中前后端网络需要大量光互连 (5)数据中心内部铜互联推动AEC有源电缆发展。在数据中心内部的短距铜缆连接(比如机架内3-4米)多为无源铜缆,无源铜缆无法实现100GB的连接,或需使用带有DSP的AEC有源电缆。 图10:数据中心内部铜互联推动AEC有源电缆发展 (6)大规模AI集群推动远距离互联需求。AI时代需要更大的AI集群,其连接距离从不到2公里增加到10-20公里,因此需要具有相干技术的长距离传输特性且与PAM连接相似体验的互连技术。 图11:大规模AI集群推动远距离互联需求 1.2、工业设备投资有望持续增长,设备向高端化、数字化升级 政策推动工业设备投资持续增长,加快设备升级换代。2024年4月9日,七部门近日联合印发《推动工业领域设备更新实施方案》,提出到2027年,工业领域设备投资规模较2023年增长25%以上,规模以上工业企业数字化研发设计工具普及率、关键工序数控化率分别超过90%、75%;提出加快落后低效设备替代、更新升级高端先进设备、推广应用智能制造装备、加快生产设备绿色化改造,其中钢铁行业加快对现有高炉、转炉、电炉等全流程开展超低排放改造等。我们认为宝信软件作为国内领先的智能制造企业,产品包括大型PLC工控软硬件、工业互联网、信息化工业软件、AI大模型等,有望核心受益。 1.3、Gaudi 3 AI加速器发布,性能优于H100/H200,助力AI发展 英特尔发布Gaudi 3AI加速器,对标H100/H200,后续将发布液冷版本。4月9日,英特尔发布Gaudi 3 AI加速器,采用 5nm 工艺,相比上一代产品,BF16 AI算力提升至4倍,FP8 AI算力提升至2倍,网络带宽和内存带宽分别提高至2倍和1.5倍,可实现系统大规模横向拓展。在主流的LLM中,Gaudi 3性能表现优于H100。据英特尔介绍,Gaudi 3相较英伟达H100,可在Llama2 7B和13B、以及GPT-3175B参数模型的训练时间缩短50%;在Llama 7B和70B、以及Falcon 180B参数模型上的推理吞吐量提高50%,推理能效提高40%;相比H200在推理的速度上也有所提升。Gaudi 3加速器包括OAM兼容夹层卡、通用基板、PCIe三种形式,Gaudi 3OAM卡TDP高达900W,采用风冷散热,后续将更新发布液冷版本。 公司预计Gaudi 3将于2024年第三季度上市,PCI附加卡将于第四季度上市。我们认为,AI加速器不断迭代,有望缩短模型训练迭代时间并加快推理速度,助力AIGC产业不断成熟,此外,随着AI算力芯片功率不断上升,有望加速从风冷向液冷散热切换,建议持续关注液冷温控领域。 Gemini 1.5 Pro和GPT-4 Turbo正式上线,AI模型持续迭代。4月9日,Gemini 1.5 Pro在180多个地区上线,新增支持音频和视频输入理解。同日,GPT-4 Turbo-2024-04-09正式上线,新增视觉功能。AI模型向多模态转换,模型持续迭代升级。 AI加速器不断迭代,有望缩短模型训练迭代时间并加快推理速度,持续增加AI应用的渗透率,随着AI的应用场景不断增加,模型的推理需求或将持续上升,蓬勃的算力需求有望持续带动算网基础设施建设,建议持续关注AIDC、光模块、液冷温控、AI服务器、交换机、光芯片、光器件、边缘算力等领域投资机会,AI+国产替代推荐标的:宝信软件;光模块推荐标的:中际旭创;液冷数据中心全链条受益标的:英维克;光模块受益标的:新易盛、天孚通信等;AIDC受益标的:润泽科技、光环新