互联网算力专家交流纪要-20240413

互联网算力专家交流纪要 一、综述 1.互联网算力及Al算力应用概况 国内在模型应用方面取得了积极的进展，H20显卡能够满足GT4至4.5级别的模型训练需求，适用于日常运行。然而，对于更高级的模型训练，H20显卡在性价比上表现不佳，不太适合使用。 互联网算力专家交流纪要 H20显卡，预计国内市场的总订单量有公司正计划采购约6万张望达到20万张。 一、综述 1.互联网算力及Al算力应用概况 国内在模型应用方面取得了积极的进展，H20显卡能够满足GT4至4.5级别的模型训练需求，适用于日常运行。然而，对于更高级的模型训练，H20显卡在性价比上表现不佳，不太适合使用。 H20显卡，预计国内市场的总订单量有公司正计划采购约6万张 望达到20万张。在训练GPT4.0模型方面，大约需要2000张H100芯片，而H800则需要2至3000张。H20显卡的定价大约为7万人民币，折合11.2万多美金。 国内其他主要企业，如百度和字节跳动，也计划推出GPT4.0能力。相较于海外的GPT4.0，国内模型在处理中文语义方面具有明显的优势。 2.算力需求与供给分析 公司预测，今年推理端的需求将显著增长，并计划采购平头哥推理卡及相关服务器。平头哥推理卡的性能提升了大约70%，与海光和寒武纪的性能相当，但具体价格尚未公开。 公司与华为合作，计划采购升腾卡，预计采购虽约为1万张。国内算力市场预计将持续增长，尽管大模型技术的发展趋势存在不确定性，但推理市场需求将持续迭代和增长。公司认为，推理端的发展是大势所趋，未来可能会有更多的大型企业参与推理卡市场的竞 争。 二、详细介绍 1.H20显卡对国内模型应用和下游算力使用的影响 H20显卡能够满足当前GPT4水平的模型训练需求，可以作为未来一年的主力训练芯片。然而，随着规模的扩大，维护和采购成本也将随之增加。对于更高级的大模型研发，H20显卡可能不是最佳选择，因此公司计划在未来拓宽供应商范围，并探索国产化的可能性。 2.国内对H20显卡的采购规模和预期公司计划今年采购约6万张 H20显卡，根据与英伟达的沟通，预 计国内市场的总需求量可能达到20万张。但是，最终能否达到这一数字，还取决于国产芯片，特别是深圳触控芯片的发展情况。目前预计今年的订单量将接近20万片。 训练GPT4.0模型大约需要2000张H100显卡，而H800显卡则需要2至3000张。H20显卡的具体需求量尚未确定，但预计将比现有数量增加3到4倍。H20显卡的定价约为7万人民币，折合美金约为1.2万多，略低于8万美金。 4.GPT4模型的参数规模和未来参数需求的增长 目前的GPT4模型已达到万亿级别的参数。预计未来模型的参数规模将更大，可能会推迟到5月发布，但计划在第二季度完成。 5.阿里集团对算力资源的储备和采购策略 阿里集团的采购策略旨在满足训练卡的需求，并保证集团其他业务单元的资源储备。目前面临的压力较大，需要在对外租赁和集团内部需求之间找到平衡。因此，不仅增加了新的采购量，也提高了退役卡的采购量。 6.国产卡的性能和生产现状国产卡主要基于NV的卡进行生产，目前在生产和商务方面存在一些挑战。 H20卡在推出初期，由于供应链未能及时跟上，导致订单延迟。但目前生产已经启动，预计今年的出货量至少可达30万张，最高可能达到50万张。商务关系仍在博弈中，深圳的下单量预计能达到1万张。对于590和寒武纪等国产卡，测试结果尚未确定，采购量不会特别大。软件生态和卡片堆叠效果有待提升，但随着供应链和 软件生态的成熟，性能差距将逐渐缩小。 7.国产卡与H200的性能比较 国产卡在单卡性能上不会逊色于H200，特别是升腾的单卡性能优于H200。H200的单卡性能大约是9RNB的一半，但其缓存带宽是GRNB 的两倍。在集群效果方面，HRO优于H200，预计在千卡效H200的70%左右。率下能达到 8.910C芯片的测试和预期性能 尽管910C芯片尚未进行前期测试，但其被宣传为能支持5万张卡的大规模集群，性能预计能达到H100的80%。G20C的互联外观将升级到800G，预计二季度将有更多信息发布。 9.国内友商的GPT4.0进展情况 国内友商的GPT4.0进展与我们相当，百度和字节等预计今年将推出GP4能力。在特定垂直领域，已有一些公司表现出色。整体而言，国内主流玩家的节奏和差距并未明显拉开。 在中文语义处理方面，国产模型表现更佳。但在联想、检索和准确率分析等方面，CPP4仍领先。国产模型在个性化智能体方面表现更好，而 GP4在文本、图片、视频理解及应用拓展性上更强。目前，GP4可达到90分水平，国产模型大约在75到80分水平，差距正在缩小。 11.公司对GPT4.5的发布计划 原计划在3-4月份发布GPT4.5，但由于供应链问题导致延迟。目前看来，发布可能推迟到今年下半年或明年上半年，具体还需视政策而定。公司计划在第二季度推出GPT4级别的模型，并在第四季度推出CBM能力。 12.GPT4.5的性能提升和应用场景 GPT4.5相较于GPT4将有显著提升，特别是在多模态能力，尤其是3G方面的增强，以及复杂推理和跨模态理解能力的显著提高。这将为商业化和应用场景带来质的飞跃，例如软硬一体的机器人等领域。GPT4.5还将结合代码解释器，类似于panel，增强与动态模态的结合，如使用Python绘制视觉效果等。但目前具体的参数量、训练细节和算力消耗等信息尚未明确。 13.国内Al应用的现状和评价 距，但在特定场景下的能力并不逊色，甚至优于一些大模型。例如，kimi在语言理解产品方面的表现优于其他产品。长期来看，国内独立厂商与大模型厂商之间是竞合关系，各自在特定领域有优势。独立厂商在特定场景深耕的能力较强，而大厂商则需要覆盖更多行业和场景。我们对这些独立厂商的投资是出于对其在特定场景能力的认可和未来潜力的期待。 14.公司最近推出的产品及其在行业中的地位 公司最近推出的产品在特定领域内表现领先，特别是在用户体验方面，相较于同类产品有显著优势。虽然无法断言是行业第一还是第二，但确实在某些方面比其他产品做得更好。 15.未来一两个季度，国内哪些应用类型可能会迎来爆发 未来一两个季度，文本类和语音类应用可能会迎来较大爆发，尤其是在智能导购、文档管理、Al编程等方面。Al编程领域，公司目标是让Al完成团队中五分之一的工作，目前Alcode的代码通过率已经达到35%-40%。视频类应用虽然潜力巨大，但考虑到算力和效果要求较高，公司会谨慎推进。自动驾驶方面，公司更多依赖算力支持，而非自主研发。 16.公司在Al领域的未来规划和战略 公司计划在今年将推理端的需求量提升，预计采购量将达到训练和推理的二八开比例。同时，公司将继续推动文本和语音领域的应 用，以及Al编程的市场效果。公司的战略是先在集团层面打造C端爆款产品，然后基于这些产品丰富自身的定制开发能力，最后对外输出解决方案。此外，公司还将推广数据分析等产品，进行商业化尝试。 17.华为和新卡H00的订单预计何时能大批量交付完成预计在六个月左右能完成大批量交付。 18.公司对Al服务器的订单情况 公司已经向华擎、御迅和浪潮下了6万台Al服务器的订单，这些订单都是框架性质的。 19.选择华擎、御迅和立讯作为供应商的原因 这次下单是集团层面的决定，可能是基于成本、规模和整体战略考量。立讯之前虽无合作，但可能因其他合作项目而被选中。 20.公司是否会考虑使用英伟达的新GPU？液冷技术的应用情况如何？区的应用较少。 21.服务器组装的稳定性如何？ 服务器组装相对稳定，选择的供应商可能还有其他合作项目。22.对于双林租赁公司的H100租赁服务，公司有何考虑？会考虑租赁，但可能不会通过阿里云，而是通过集团其他业务部门进行商业租赁。 23.Al板块的未来前景如何？ Al板块的增长与模型的能力变化不完全匹配，但通过模型迭代可以挖掘新的应用场景。目前Al技术仍在不断发展之中，需要行业上下游的协作以推动其进步。尽管市场上出现了新的Al产品，但用户体验方面仍有提升空间。 24.平头哥芯片的算力和带宽参数是什么？对服务器厂商是如何付费的？ 平头哥芯片主要是退役卡，不专门用于训练。尽管没有公开具体的参数，但其性能比上一代提升了约70%，在行业中可与海光和寒武纪相媲美。对服务器厂商的付费方式通常包括服务器组装和硬件成本，具体根据增量概念来确定。 25.平头哥芯片的性能是否可以与英伟达的芯片对标？ 平头哥芯片并未直接与英伟达芯片竞争，因为它们属于不同的体系。平头哥芯片更多地是与前一代产品进行比较，而不是与其他厂商直接竞争。 26.为什么还会采购升腾芯片，尽管其性能可能不如H20？ 采购升腾芯片是基于多方面考虑，包括推动国产化的需求和应对可能加剧的供应链风险。虽然升腾芯片的性能可能不及H20，但考虑到长期利益和政策环境，公司仍会采购一定数量的升腾芯片。27.公司计划采购多少升腾芯片？ 具体的采购量将取决于升腾芯片的性能和供应链状况。如果性能达到预期且供应链稳定，公司会增加采购量。虽然短期内可能无法超越英伟达的市场份额，但采购量将持续增长。 28.公司今年计划下多少张1000C芯片？ 公司目前已经下了6万张1000C芯片的订单，预计全年在中国市场的出货量将在20万张左右。后续可能会增加订单，但增加的数量不会超过 20%。 29.关于英伟达新出的训练卡的规划和采购计划是怎样的？ 目前还在尝试阶段，由于政策限制，直接海外采购并不可行。我们计划与海外运营商合作成立合资公司来进行采购。首要任务是建立 海外模型和生态，其次是加强海外算力租赁解决方案。目前海外业务主要集中于东南亚和中东北非地区，营收约占阿里云的10%，且主要增长来源于这些区域。 30.未来推理卡和服务器的市场需求和价格情况如何？ 推理卡的需求将随着用户规模的增长而激增，市场前景看好。目前 平头哥推理卡的价格与海光和寒武纪相当，但具体价格尚未公开。31.对于国内推理市场的展望，以及阿里云在推理端的布局和策略是什么？推理市场需求将随着模型的迭代和市场的成熟而增长，预计未来几 年会有显著提升。阿里云计划通过推出平头哥推理卡来满足市场需 求，同时保持对供应链的控制，以应对未来可能的芯片供应问题。32.OpenAl和其他大厂是否会参与推理芯片的开发？ 随着市场规模的扩大，不仅是OpenAl，其他大厂也必然会参与推理芯片的开发。尽管技术趋势存在不确定性，但推理芯片的持续迭代和市场需求增长是必然的。 总结而言，本次会议深入探讨了互联网算力及Al算力的应用现状、需求供给情况、行业趋势与展望等多个方面。会议还详细讨论了H20显卡的市场影响、国内外GPT模型的比较、公司在Al领域的未来规划和战略等关键议题。通过这些讨论，公司能够更好地把握市场动态，优化采购策略，并为未来的产品开发和市场布局做好准备。随着Al技术的不断进步和市场需求的日益增长，公司将持续关注行业动态，积极探索创新，以保持在竞争激烈的市场中的领先地位。