英伟达GTC会议分析师专场交流纪要–20230322

会议主题：《NVIDIACorpGTCFinancialAnalystQ&A》主办方：英伟达 出席人： ColetteM.Kress，NVIDIACorporation–ExecutiveVP&CFOJensenHuang，Co-Founder，CEO，President&DirectorSimonaJankowski，NVIDIACorporation–VPofIR 【黄仁勋GTC大会总结】 1、此次会议谈论到了三个动态，主要涉及可持续发展、生成式AI、数字化。 动态1：可持续发展：摩尔定律的发展已经终结，英伟达在过去若干年的时间里，一直落地加速计算的发展。截至目前，英伟达在加速计算领域做到了全栈式布局，从架构、到系统、到软件、到加速库再到对应的应用程序。 英伟达加速计算，可以做到横向扩展、向上扩展、向外扩展，产品更具有灵活性。 英伟达的加速计算平台也被用到多个领域（粒子物理学、流体动力学，直到机器人学、人工智能等等，计算机图形学、图像处理，视频处理）今天，所有这些类型的领域都消耗了大量的CPU内核和大量的电力。我们有机会加速所有这些，降低功耗，降低成本。 NVIDIA的加速计算平台是从云到边缘的。这是每个云中唯一可用的架构。世界上几乎所有的计算机制造商都可以在本地使用它。它可用于推理系统、边缘系统、机器人自动驾驶汽车等等。同时英伟达的加速平台是完全开放的。这意味着您几乎可以从世界上任何地方的任何计算平台。 动态2：生成式AI有望引发人工智能的转折点。伴随着生成式AI的发展，我们经历了从世界感知到信息生成，生成式A引发了人工智能的转折点，并推动了A在全球范围内采用的阶梯式增长。非常重要的是，人们部署在全球所有云和数据中心的推理量的量也在大幅的增加。 动态3：数字化有望是人工智能的下一代浪潮。数字化的发展，有望将人工智能带入下一阶段，即下一波AI浪潮。在这一阶段中，AI不仅对数字信息进行操作、生成文本和生成图像。AI将在运营工厂、实体工厂、自主系统和机器人技术。在这种特殊情况下，数字化真正有机会使世界上一些最大的行业实现自动化。 2、此次会议谈论到了四个要点，主要涉及生成式AI、硬件上市动态、加速库、云服务要点1：生成式AI推动对英伟达加速平台的需求增长。 生成式AI正在推动对NVIDIA平台的需求加速增长。Hopper设计了一个transformer引擎，该引擎专为大型语言模型和人们现在所说的基础模型而设计。随着Hopper的推出，Hopper已经被几乎所有的云服务提供商所采用。 要点2：硬件上市动态—新推出DPUBlueField-3，GraceHopper已投入生产。在AI推理领域新推出四种产品。 数据中心并非是一个单纯的计算机，而是一个巨型系统精心编排和运行的计算机群。该计算集群中的操作系统（包括容器化、虚拟化）、网络、存储、安全性等指标均非常重要。这些应用程序的隔离和未来的机密计算是在软件定义层中运行，该软件层消耗大量CPU内核。 新推出DPUBlueField-3。英伟达新推出的BlueField可实现“卸载、加速现代软件定义数据中心的操作系统”等功能，若干合作伙伴和云数据中心厂商正在采用BlueField产品。 GraceHopper已投入生产，并进行抽样测试阶段。该产品主要用于主要的推理工作负载之一、矢量数据库、数据处理、推荐系统。人工智能推理系统是世界上最有价值和最重要的应用程序之一，目前推荐系统正在转向深度学习。GraceHopper是专门为此设计的，它让我们有机会在大型数据库的推荐系统中获得10倍的加速，目前Grace已投入生产，并进行抽样测试阶段。 Grace专为无法加速的云数据中心中的其余工作负载而设计。一旦你加速了一切，剩下的就是真正想要拥有非常强大的单线程性能的软件。而单线程性能正是Grace的设计目标。我们还将Grace设计为不仅是快速计算机的CPU，而且是非常非常节能的云数据中心的CPU。当你把整个数据中心看成一台电脑时，当数据中心就是电脑时，那么你在加速数据中心、AI-first、cloud-first数据中心的背景下设计CPU的方式，那个CPU设计就是完全不同。 新推出4个推理平台（L4、L40、H100NVL和Grace-Hopper），针对各种快速兴起的生成式AI应用程序进行了优化。 数据中心对于AI推理的加速诉求较强，但是该领域中的诉求是多模态的，AI推理的工作负载类型较多（有时，您想进行推理，将推理和AI引入视频，然后使用生成AI对其进行增强。有时，它是图像，产生美丽的图像并帮助成为共同创造者。有时，您正在生成文本，非常长的文本）。这些应用程序中的每一个，视频、图像、文本，当然还有矢量数据库，它们都有不同的特征，这给数据中心的建设带来了挑战。因为下游客户需要每一种模式或每一种不同的生成AI工作负载配备专门的加速器。同时，数据中心的服务和租户也是在不断变化的。 针对上述挑战，英伟达采取了基于一个架构四个配置的策略（L4、L40、H100NVL和Grace-Hopper），能够最大力度加速各种工作负载。目前公司在此领域，正在加大与谷歌的合作。 要点3：加速库—2023年优化并发布100个库、100个模型，cuLitho加速库是今年重要看点 如果你加速工作负载，你必须重新设计应用程序，必须完全重构算法，将算法编码到加速库中。在建立每一个加速库的过程中，我们都需要了解此领域中的动态和进展，并与产业链的合作伙伴合作，创建加速库，并将他们链接到具体的应用程序生态系统，并推动和加速该领域的发展。对于英伟达来讲，客户购买了英伟达的系统，可以在未来几年内享受加速服务。在同一平台上，在您安装它之后，在其整个生命周期内将性能提高4到10倍。 2023年，英伟达优化并发布了100个库和100个模型。 在此次大会上，我们推出了cuLitho加速库，用于半导体光刻工艺的图案和掩模的创建。过去4年时间里，我们将cuLitho加速库的速度提高了约50倍。依托该加速库，一方面可以降低芯片设计中的计算时间&流水线时间和吞吐时间（如果将开发周期减少10%，对世界的价值很大），另一方面可以大幅降低电力成本的（未来有机会降低5-10倍） 要点4：云服务—历史上商业模式最大的一次扩张 云服务使得消费者有机会通过Web浏览器加速或者及时的使用计算平台。在过去10年时间里，云服务的能力在不断进步，从最开始只有CPU、运行Hadoop或者MapReduce或者做查询，到现在有高性能计算，科学计算系统，云中的AI超级计算机。因此，我们将与世界上所有的云服务提供商合作。从Orical开始，我们还宣布了与Azure和GCP的云合作伙伴关系。我们将与世界领先的云服务提供商合作，在云端实施、安装和托管NVIDIAAI、NVIDIAOmniverse和NVIDIADGXCloud。这样做，可以使得消费者能够获得NVIDIAAI和NVIDIAOmniverse的完全优化的多云堆栈，而且有机会在云端享受最优化的配置，以最佳形式获得NVIDIA软件堆栈的所有优势。 对于那些工作量非常大并且希望从加速中受益的公司来说，最先进的人工智能的好处我们现在有一个直接的服务，我们可以在其中参与世界各行业。这是我们将NVIDIA带来的最好的东西和所有CSP的最好的东西结合起来的绝妙方式。他们为云安全、存储安全以及他们提供的所有其他API服务提供了令人难以置信的服务，而且他们很可能已经成为您选择的云。 宣布了平台及服务（NVIDIAAI，NVIDIAOmniverse）、技术设施及服务（NVIDIADGXCloud）产品，拓展了公司的商业模式。 如果一个企业的客户，如果一个行业想要访问基础模型，最明显和最容易获得的是与世界领先的服务提供商合作，如OpenAI或微软和谷歌。这些都是旨在为许多行业提供高可用性、高度灵活性和实用性的AI模型示例。 有些公司希望构建专门基于其数据的自定义模型，而NVIDIA拥有实现这一目标的所有能力。因此，对于希望基于其专有数据构建定制模型的客户，以其特定方式进行训练、开发和推理；无论是他们想要放置、实施的护栏，还是他们想要执行的指令类型、调整。 DGX云在世界上所有主要的CSP中运行。因此，如果您已经有了自己选择的CSP，英伟达能够在其中托管它。 【分析师Q&A】 Q1：鉴于您所谈到的推荐系统的重要性、LLM的增长以及您与Google的合作，市场似乎正在朝着您的方向发展。我们应该如何考虑你在3到 5年后的推理机会，我们应该如何看待Grace在未来几年在那里扮演的角色？ 3到5年后，我们今天正在建造的AI超级计算机，毫无疑问是当今世界制造的最先进的计算机。当然，它的规模是巨大的。它包括计算结构，如NVLink、计算——大型计算、大规模计算结构，如InfiniBand，以及将它们缝合在一起的非常复杂的网络。软件栈，它的操作系统，分布式计算软件，它只是计算机科学的极限。 推理目前主要是面向CPU的工作负载（推荐与购物、书籍或查询、视频处理等相关的内容），这是因为当今世界上的大多数推理都相当轻量级。但是我们认为这一趋势正在被改变，主要原因包括以下两个方面： 使用CPU做推理缺乏可持续性。您不能继续承担这些视频工作负载并在CPU上处理它们。你不能拿这些深度学习模型，即使服务质量差一点或好一点，用CPU来做，它只会消耗太多电力。而且这种敏感性现在已经渗透到几乎每一个云服务提供商，因为他们拥有的需要加速的工作量已经增加了很多。所以他们对加速的关注，他们对加速的警觉性提高了。其次，几乎每个人都处于他们的权力极限。因此，为了在未来实现增长，您真的必须通过加速来重新获得动力，然后再将其恢复增长。 生成式人工智能已经到来。我们将看到几乎每一个行业，从共同创造者、共同试点中受益，从共同创造者、共同试点中扩大，加速我们所做的一切，从我们创建的文本、我们与之交互的聊天机器人、我们使用的电子表格、PowerPoint和Photoshop等等依此类推，它们都将成为——你将被共同创造者或副驾驶增强，你将被加速，受到启发。 Q2：过去，您主要讨论了结合使用Grace和Hopper的好处。今天，您也比我预期的更关注独立的Grace。您能否谈谈您是否改变了对预期服务器CPU份额增长前景的看法？随着时间的推移，我们应该如何考虑潜在的收入贡献，特别是当你考虑Grace独立、Grace超级芯片，然后显然是Grace-Hopper组合时？ 我认为Grace对我们来说将是一项大业务，但它会——它远不及加速计算的规模。我们看好Grace未来业务的增长，主要是看好加速工作在计算机图形学、视频处理、生成式AI等领域中的未来发展趋势。 对于单线程代码，阿姆达尔定律仍然有效，其它的都已到达瓶颈。由于单线程代码主要与数据处理、获取大量数据、移动大量数据相关，我们设计的CPU是同时擅长处理两个事情（具有极佳的单线程性能，移动数据量非常大）。 我们设计了整个系统，而不是只构建一个超快的CPU核心——CPU，我们设计了一个超快的CPU节点。通过这样做，我们可以增强功率受限的数据中心能够使用尽可能多的CPU的能力。我认为总的来说，加速计算将成为未来计算的主要形式，因为摩尔定律已经走到尽头。但剩下的将是繁重的数据处理、繁重的数据移动和单线程代码。因此CPU仍将非常非常重要。只是设计点会与以往不同。Q3：每次查询的成本正成为生成式AI客户的主要关注点，他们正在谈论在未来几个季度和几年内大幅减少。您能谈谈这对NVIDIA意味着什么吗？从长远来看，这会成为H100工作负载吗？你们如何与客户合作以降低成本？ 是的，您讲的几个东西是在同时发生的。 模型将变得更大。它们之所以会变大，是因为我们希望它能越来越好地执行任务。有各种证据表明，模型的能力、质量和多功能性与模型的大小以及您用来训练该模型的数据量相关。我们希望它越来越大，用途越来越广泛。 我们是有不同类型的工作负载，但是我们