算力芯片禁令下的影响和应对措施–20231022

大厂和小厂向英伟达下订单情况？A：国内很多大厂基本上这一天的时间下了将近三年的订单，基本上都是几万片十几万片的项。Q：禁令执行时间和客户下单时间？ A：禁令将于11月11日开始执行，国内客户只有一天的时间下单。同时，美国相关部门将放出公开意见征求走的一个期限，但这个期限可能更多的是象征性的，没有太多的实际意义。 大厂和小厂向英伟达下订单情况？A：国内很多大厂基本上这一天的时间下了将近三年的订单，基本上都是几万片十几万片的项。Q：禁令执行时间和客户下单时间？ A：禁令将于11月11日开始执行，国内客户只有一天的时间下单。同时，美国相关部门将放出公开意见征求走的一个期限，但这个期限可能更多的是象征性的，没有太多的实际意义。 Q：英伟达取消合同的惩罚措施？A：取消订单没有任何惩罚措施，合同有霸王条款，所以英伟达取消订单是没有任何惩罚措施的。Q：政策出来前后市场情况？A：政策出来当天就已经有客户和代理商在群里面开始抢购，当天涨幅在5%到15%之间。天亮后可能会有更高的涨幅。代理商会冷静观察市场情况，可能会囤货，翻个两倍三倍的把东西卖出 去。大客户直接找总代去抢货，价格也是跟那个厂家直接谈的。小客户买的话成本会很高。Q：禁令的界定是怎么定的？A：禁令是在禁令生效之前下的单，无论数量多少都可以交付，交付时间没有限制。Q：算力租赁需要联网吗？A：算力租赁分为联网和局域网两种，目前国内联网客户比较多，但也有封闭在数据运营商机房里的客户。Q：卡能否被检测到使用IP？ A：卡能够被检测到使用IP，英伟达会根据异常IP做锁卡处理。Q：请问国产的AI芯片如华为的生成和最新的生成 9100B的性能是怎么样的？请问海光的芯片性能如何？ A：生成的算力标准应该在900多，而生成9100B单卡的算力能达到900多。海光的芯片的性能不错，算力也比较均衡。Q：请问目前对H800的降低算力的做法是什么？ A：进一步的英伟达调低这个算力来绕过制裁。Q：请问寒武纪590和910B是否使用cheeky封装技术？ A：目前看这颗芯片跑的这个算力的话，目前也有这种技术路径能够解决了。Q：请问现在显卡的涨价趋势是什么？A：红茶涨价，高端显卡都已经下架了。Q：请问大客户这边的算力租赁是按年租的多还是按月租的比较多？A：现在算力租赁基本上都是按年起，就至少一年。Q：英伟达可以关闭异常地址，重新将卡放入局域网后是否还能正常运行？ A：英伟达关闭异常地址后，重新将卡放入局域网中，不一定能正常运行。可能会出现物理上的锁死，很可能会出现这种情况。Q：锁卡后，是否意味着卡废掉了？即使在局域网中使用，是否还是可能出现开机无法运行的情况？A：锁卡后，卡不一定会废掉。即使在局域网中使用，可能还是会出现开机无法运行的情况。Q：通道数对芯片的影响有多大？如果进一步限制通道数，是否还能保持高算力？ A：通道数限制对芯片的影响较大，限制通道数可能会导致芯片算力降低。Q：卡间互联速率是否是限制单卡算力的关键因素？如果这样，使用英伟达卡是否比使用生成的好用？A：英伟达的卡间互联速率比生成的高，所以使用英伟达卡比使用生成的好用。Q：扩大生态是否对客户承担成本有影响？华为生成芯片的单卡算力和A100差距有多大？A：扩大生态可能会影响客户承担成本。华为生成芯片的单卡算力和A100相当。 Q：英伟达使用NVlink做集群和华为使用以太网做集群的性能有何差异？A：相当于华为跑一个月，英伟达跑一个半月到两个月。时间越长，性能越差，精度误差也会增大。 Q：英伟达新款产品对国内市场的竞争力如何？A：已经不具备竞争力，训练卡的兼容性不好，扩大兼容度是关键。Q：互联网大厂商如何应对卡的供应不足？A：他们可能需要找点卡继续训练，或者另起炉灶在国产芯片基础上重新建立模型。Q：扩大兼容性的问题是什么？ A：要求硬件本身必须是GPU或者是GPU的架构，小厂商可能需要转移到国产卡上。Q：多模态的模型有哪些优势？A：需要更多的算力，比单模块的模型在自然的消耗上会增长。Q：行业模型和服务是什么？A：模型在行业里面的应用以及一些服务，是一个盈利的方向。Q：远程控制卡的监测问题是什么？A：只是听说有被降速的情况，具体情况需要看实际案例。Q：商业企业是否需要考虑极端情况下的情景假设？A：商业企业不太可能遇到极端情况，因为不会出现大规模的量级，也不需要被重点监控。Q：华为和其他国产替代方案的选择如何？华为在芯片生产中的作用是什么？ A：华为已经解决了芯片生产问题，但不能保证一直能解决，因此其他国产替代方案是可行的。已经解决了芯片生产问题，但还需要继续研究。芯片生产仍在韬光养晦，因为需要考虑供应链的稳定性。 Q：AI算力对国家层面和行业企业的影响是什么？A：是国家需要的，需要低制程的芯片，但行业模型的孵化也很重要。Q：终端用户如何规避锁卡或降频的问题？A：英伟达在卡的限制方面已经考虑到这种情况，但是加防火墙或加硬件设备可能无法解决。Q：如果卡受到限制，就是推理端这块儿的算力，现在主要是会不会收到一个几站呢？请问英伟达的芯片主要与其他厂商的训练端芯片有何差距？ A：因为做训练的卡一般可以训练和推理都可以做，但是做推理的卡往往是没有办法去做训练的。因为这个卡本身算力没有这么高，它的能力也没有这么全面。它大概是这样一个包含和被包含的关系。目前来看，英伟达的训练端芯片的差距主要在于FP16的算力参数上，而非综合性能。相比之下，比如哔哩哔哩，升腾、海光等厂商的芯片，虽然某些参数表现不俗，但综合性能却难以与英伟达抗衡。Q：如果一张卡被受限制了，但模型本身需要更高的计算性能，那么迁移该如何进行？A：迁移模型时需要考虑的因素很多，如模型大小、芯片设计厂商的能力、人工转化过程中可能产生的误差等。此外，模型迁移也需要根据实际应用情况进行。 Q：英伟达官方的推理解决方案除了air智能卡之外，还有什么卡适合用来做推理？A：H100是适合用来做推理的卡，性价比相对于L系列的卡较高。Q：什么是大模型的推理？除了T4和L4的推理， H100的推理相对于T4和L4有什么优势？A：大模型的推理是指涉及到大量的参数在里面一遍一遍的滚，最后把这个公式给滚出来。推理的量级要大很多，比如微软的推理服务就是使用H100的推理。 Q：如果是用GPT4这种大规模上线之后的模型做推理，有哪些相对数据量比较小的应用可以用来验证公式？A：可以使用微软提供的推理服务，用于验证公式。 Q：除了NV的卡和华为的卡，腾讯的推理服务使用的是什么样的卡？A：不是使用的单一种类的卡，而是包括训练卡和推理卡在内的一套网络架构。Q：英伟达的卡和不同的芯片生态绑定意味着什么？A：国内的芯片厂商也需要跟着英伟达的生态，即先兼容哭的。后面再等你在市场上的号召力足够了，你再去做自己的生态。Q：国内相对来说比较专用，这个专用体现在哪些方面？A：表现在国内的芯片厂商需要先跟着英伟达的生态，即先兼容哭的，然后再去做自己的生态。Q：海光的编译器和其他厂商的编译器有什么区别？海关的编译器在迁移过程中有什么特别的要求吗？ A：相对来说，海光的编译器做得还可以，是在扩大编译器的基础上进行了一些优化和修改。海关的编译器要求所有厂商都要有这个工具软件，并且编译成哭大的编译器。 Q：最近突击下单的卡要多久才能拿到呢？或者可能就拿不到了吗？A：英伟达的卡要三个月后才能拿到，至少三个月。