人工智能时代的创新 ： NVIDIA GTC 2024 的主要收获

时代的创新人工智能： NVIDIAGTC2024的关键收 益 CONTENTS NvidiaGTC2024Bang!3 利用软件功能支持NIM5的硬件业务 NVIDIAGTC2024 砰的一声回来！ 在缺席了5年之后，2024年标志着亲临现场的GPU技术大会（GTC）以盛大的风格卷土重来，这是迄今为止最拥挤的NVIDIA活动，也可能是技术历史上最大的赞助活动之一，约有15,000名访客，其中11,000人参加了NVIDIA首席执行官Officer(CEO)JensenHuang著名的开幕主题演讲。该活动的展厅在各地举办了约300家参展商多个行业将他们的创新建立在NVIDIA平台上。NVIDIA声称，大约30万人也登记参加虚拟会议。 除了主旨演讲外,黄光裕在活动期间多次亮相,包括会见新闻界,行业分析师，金融分析师和参观展览楼层。凭借他的刻板印象，对争议和未来的想法，他始终如一地忠于他的“星际迷航”风格，断言NVIDIA更多的是定义未来和加快技术创新的步伐，而不仅仅是捍卫Ispositioninthemarketorreassuringinvestorsonthesolidityofroadmapexecution.Theeventseemedto围绕着JensenHuang富有远见的领导力，让业内许多人思考NVIDIA的未来，如果他们有影响力的首席执行官不再掌舵的话。 人工智能时代的创新 该活动主要集中在人工智能（AI）时代的创新，生成AI的出现，以及这项技术如何带来信息和内容处理方式的根本性转变消费 。根据NVIDIA的说法，尽管当今的互联网和计算设备促进了基于云的来源的信息检索和识别，但生成AI将迎来检索增强生成的新范式（RAG）。该技术可以从大量数据源中探索和生成结果，从而改变数据的消费方式。它将使用户能够从可用的大型复杂数据中提取上下文相关的含义。 英伟达认为，生成信息时代将导致计算技术的彻底变革，重塑它们的构思和设计方式。重点将从通用顺序计算转向大规模并行和加速计算模型。该公司对这种范式转变持乐观态度，因为它与凭借其图形处理单元（GPU）产品，尤其是云应用程序，其根源是加速计算的领导者。在他的主题演讲中，JensenHuang始终强调，尽管OpenAI的ChatGPT发挥了在普及生成人工智能方面的关键作用，如果没有这种开创性的技术，就不可能利用NVIDIA的GPU来训练其基础模型。 此外，此次活动突显了NVIDIA将自己重新定位为AI解决方案提供商的愿望，超越了它作为GPU供应商的传统角色。NVIDIA提出了如何实现、优化和在各个行业中杠杆化。值得注意的是，NVIDIA并没有将其叙述局限于其GPU芯片组的优点。相反，该公司系统地将自己定位为系统设计公司，将其GPU位于容纳众多GPU芯片的互连服务器机架中。这种互连的GPU芯片阵列可作为单个高性能大型计算系统集中运行，具有同时运行具有万亿个规模参数的多个AI模型的能力。 此外，NVIDIA推出了其NVIDIA推理微服务（NIM）框架，这是一种AI生产容器工具旨在使企业能够定制其AI解决方案，同时显着缩短部署时间几周到几个小时。这个框架补充了最近宣布的NVIDIAAIFoundry，它专注于开发、预培训和微调为企业应用量身定制的生成AI模型。NVIDIA AI微服务旨在为企业提供端到端解决方案，以便在其组织内的整个用例范围内创建定制的生成式AI应用程序。 很明显，NVIDIA渴望将自己建立为基础的AI强国，承担技术复杂性的负担，特别是在硬件和低级软件层。这种方法旨在缓解独立软件供应商 （ISV），原始设备制造商（OEM），超大规模缩放者和实施者的这些挑战，使他们能够专注于其核心优势：开发适合其各自市场需求的应用程序，功能和最佳实践。 应对AI挑战 NVIDIA，乃至整个AI生态系统，在整个AI时代的变革历程中，可能会遇到一些挑战，这些挑战包括但不限于： •生成/通用AI的广泛采用可能需要更长的时间，因为它需要在企业的结构和运营方式上进行深刻的文化变革。从业务部门级别的孤立数据过渡到企业级数据治理将要求组织发生重大变化结构、业务流程、数据流过程和功能框架，以及添加的要求数据科学家人才。 •目前，高性能计算(HPC)是一个利基市场，HPC系统所需的每个组件是根据有限的一组应用程序的特定需求定制和定制的。然而，随着民主化在生成AI中，将需要更广泛的HPC功能，这可能会使技术供应链每个节点的可扩展性和容量紧张。这一挑战已经显现，因为HPCOEM在生成AI部署的这个新生阶段报告某些关键HPC组件的短缺。 •功耗是该技术面临的另一个挑战，因为它可以扩展到万亿以上的大型语言模型（LLM）。例如，将72个BlackwellGPU连接在一起的单个GB200NVL72机架的功耗可能超过120千瓦（kW）。这相当于2,000多个传统家用灯泡的消耗。 •成本将为广泛采用生成AI带来另一个重大障碍。单个BlackwellGPU的价格在30,000美元至40,000美元之间（根据NVIDIA），集成了72个GPU的单个DGXGB200NVL72机架的成本可能在300万美元至500万美元之间。这种大量的金融投资可能会阻碍这些系统的大规模部署。 总而言之，NVIDIA在今年推出了一系列产品、服务、API和工具包，以支持行业加速在多个垂直领域采用云AI、模拟和数字孪生。这不仅使NVIDIA能够产生新的收入来源，而且还旨在提高其硬件的利用率，从而为实现新推出的计划奠定了基础。 然而，在GTC期间，边缘计算的覆盖范围并不公平，这让ABIResearch认为，该公司可能会更多地关注增加竞争壁垒，因为它涉及到执行工作负载密集型应用的高性能计算，如生成式AI，模拟和数字孪生，以及计算密集型科学研究。 MalikSaadi，战略技术副总裁 利用软件功能 用NIM支持硬件业务 NIM的宣布强调了NVIDIA对企业内部摩擦的理解生成式AI市场。大多数市场都在努力大规模部署服务。NIM旨在通 过提供必要的工具来解决这一问题，以支持在预构建的容器中进行生成式AI部署构建在NVIDIA的CUDA平台之上。从软件的角度来看，优化是关键之一企业面临的挑战，因为它影响各种关键绩效指标(KPI)(例如，成本、准确性、可靠性、能效和GPU使用率。）当然，NVIDIA已经提供了优化工具例如TensorRT，但这个新平台应该简化部署人员的使用。随后，NIM不应被视为营销特技，而应被视为解决企业围绕AI优化的一些基本问题的工具。 从商业角度来看，NIM主要是推动AI市场增长的工具，这将有助于推动对硬件的需求。然而，NVIDIA也抓住机会支持更广泛的货币化，因为NIM通过企业AI平台以每4,500美元的价格提供GPU每年。NIM是NVIDIAAI军械库的一个非常令人兴奋的补充，并构成了极具竞争力的AI企业软件产品的基础。期待大量针对更深层次模型的创新优化、与其他企业平台的集成以及可以利用的各种工具从开发人员到分析师的不同企业角色。 对更新的RAG的信念，而其余的人仍然持怀疑态度 尽管许多人认为RAG已经取得了成功，但NVIDIA显然将其视为实现大规模企业生成AI部署的工具。NVIDIANeMoRetriever与NeMoCurator、Customizer、Evaluator、Guardrails和NIM一起位于企业AI框架内。它将RAG与重新排名(和其他)工具集成在一起，以提供可靠且高度准确的生成解决方案，从而实现AI模型“与企业数据对话”。NVIDIARetriever的价值将高度依赖其数据平台集成——它已经与领先的云数据平台和矢量数据库建立了许多合作伙伴关系，但这将必须保持增长以帮助推动额外价值。尽管RAG将提供透明度和准确性，以支持某些副驾驶用例，其商业可行性关键任务应用程序仍将受到质疑。NVIDIA必须继续努力在应用程序部署中展示其价值。 PCAI周围的公告已被注意到 尽管NVIDIA最近在1月份发布了有关个人计算机(PC)AI的公告，NVIDIAGTC明显没有RTXPC和工作站，对话， 公告或提及。最重要的是，NVIDIA几乎没有提到edgeAI，明显缺乏兴奋围绕MetropolisMicroservicesforJetson，以加速边缘AI部署为目标。其决定忽略这些关键业务领域，转而支持人工智能数据中心市场上的超聚焦消息传递，这可能暗示其内部优先事项。不出所料，NVIDIA表示，它不太专注于在分散的边缘和设备市场中竞争，而是利用其在加速计算方面的竞争优势来瞄准利润率更高的人工智能数据中心市场。当然，阿比。研究并不期望NVIDIA退出边缘和PC市场，因为这些仍然提供价值，但展望未来，他们肯定不会像人工智能数据中心的机会那样受到同样的关注。 里斯·海登 高级分析师 作为ABIResearch战略技术团队的一部分，高级分析师ReeceHayden领导人工智能(AI)机器学习（ML）researchservice.Hisprioraryfocusisuncoveringthetechnical,commercial,andeconomicopportunitiesin AI软件和AI市场。Reece以跨垂直和全球的观点探索整个价值链中的AI软件，为企业，硬件和软件供应商，超级缩放商 ，系统集成商和通信服务提供商等提供战略指导。 BLACKWELLGPU的承诺 新的BlackwellGPU架构将取代Hopper系列成为性能最高的硅片在NVIDIA的产品中，预示着生成AI时代的下一系列进步，并实现了从检索到基于生成的计算的转变。2080亿个晶体管芯片是世界上性能最高，通过将两个具有10TB/秒（TB/s）接口的GPU融合到理论上的单个GPU中，能够支持10万亿个参数模型，处理来自多模式专家混合，大规模仿真和三维（3D）数据模型的工作负载。新一代可提供20,000TFLOPS的最大性能和4位浮点精度。与Hopper相比，这几乎是性能的5倍，成为HPC性能的新基准。可以使用第五代将BlackwellGPU拼接在一起NVIDIANVLiItercoect以形成一个系统机架，其性能就像一台超级计算机。NVIDIA为Blacwell驱动的服务器提供了两种实施方案：1）DGX，这是NVIDIA专有实施；2）MGX，这是一个参考实施，使NVIDIA合作伙伴能够从各种第三方冷却系统、互连和支持组件中进行选择。 NVIDIA垄断了AI云市场，尤其是在培训和最苛刻的工作负载方面。部分原因是其GPU架构恰好为AI工作负载提供了出色的加速，但也要归功于其在系统级别的竞争解决方案，将开发人员锁定在其CUDA软件平台中。使前沿多模态万亿参数加模型扩展到超越云，能源效率将成为未来的KPI。这是一个GPU处于不利地位的领域，像Cerebras的CS-3这样的解决方案需求量很大。与NVIDIA硬件相关的成本和交货时间是另一个为竞争创造机会的领域，尤其与SambaNova提供的即插即用企业解决方案相关。此外，微软的Maia和谷歌的Tesor处理单元(TPU)等超大规模内部芯片将继续开发和改进，为推理和培训提供更高效的AI加速，从而赢得NVIDIA的领先优势。 虽然NVIDIA在2022年首次推出Hopper时几乎没有与几个合作伙伴合作，但该公司声称已经与40个生态系统合作伙伴合作，包括超大规模的MicrosoftAzure，AmazonWebServices（AWS），GoogleCloud和OracleCloud；惠普（HP），联想，戴尔，华硕和富士通等OEM；以及包括Meta和OpenAI在内的AI领导者。这有力地证明了对HPC的需求水平，以支持日益渴望计算的应用程序就像跨多个行业的生成AI一样。NVIDIA的价值主张延伸到广泛的所有主要的公共和私有云提供商以及许多服务器制造商都提供了新的Blackwell平台，这可能会在全球范围内实现Blackwell硅，这是其他