算力租赁专家–20230924
嘉宾ÿ算力租赁_家 时间ÿ20239o24å 心观点ÿ 11算力租赁在未来一内需求会持续增à，ÿ格将会稳P升2 21算力租赁未来在中小企业1科研院所1政府的智慧城市项目p着很大`持续的需求2 31[作类和游o未来的算力需求将会快速增长2 一1_家Ï绍基本情况 从使用方的角度Ï绍算力租赁，公ø从2019开始做大模型，直到20233o份以前，通过算力租赁方式都比较少2企业自ý去购买一Ā服á器，然后用到报废的方式比较划算2算力租赁ÿ格方面在Î5o份开始涨ÿ，7o单节点一 ÿ格相比于5o又P升30%þ右2并`在CPU以及à种固态比较高等级SSDP都降O规格，包括节点A联速度比5oßO了一点27oÿ格在叠à各种`惠后是7万þ右2 ÿ格提升很快的原因是暑期以后，更多人关注到偏Þ用阶段的算力需求，5o以前更多关注的是训练需求2从部委数据显示，全世界文生Ā以及文生文1包括AI剪辑的à种产品，推理阶段算力需求是训练阶段2-7倍2所以从暑期开始，算力企业一直O停地增à算力设备，但整体ß是短缺2 算力需求要来源于O方面ÿ11BAT大A联网企业以及3601♘仑万维à些大模型训练端企业和各个垂类场景Þ用端的企业2à些通常会选择自建算力或者让A联网企业给他们做自建算力Ā21[业公ø和科研院所2à些机构做大模型O会做pchagpt的规模，但整体P也ó少需要5000[以P算力需求Ā31政府智慧城市大模型W，包括城市智能交通1智慧城市等等2从2020开始，包括X京以及Þ庆1武汉1江苏无锡，都开始将大模型P智慧城市结合2目前，政府偏向用公共算力去做à部V2 目前，算力租赁要需求来源于第二和第O部V2缺口量方面，ÿ内Ā在p大概100个þ右大模型，每个模型大概2000-3000[算力，按照推理是训练的2-7倍倍率«算，整个ÿ内明总需求量大概是200万张þ右a100的量2目前全ÿ算力à起来连一半都O到2à是当前AIÞ用落地阶段短中期的需求量2但是从q所在机构2019就在做大模型的角度来看，目前行业内þ经落地了p70多款Þ用，要是媒体1ý业教育和交通等领域2参考最à微软大模型集p的操作系统1英伟达ð推出的一些设施1特ï拉自动驾驶等，ÿ外整体Þ用端往后面会ÿ发出更多的需求2q认游oà块ÿ能会ÿ发出巨大的需求，因随着大模型文生文以及文生Ā的能力逐渐p熟，Î比较前沿的技术都聚焦于在AI生p3D以及AI生p视频à两方面，都是很容易去跟游o去做结合2从à两个方面的技术p熟度的角度来看，Ā在从英伟达1Google推出的一些技术，à部V技术壁垒在最à两个oþ经攻破2所以需求很大，大模型对游o的改善会是非常巨大的2ÿ内目前做游o的厂商O像ÿ外那么多，但à部V是ÿ以跟算力租赁结合2 把à些场景都算P，算力租赁ÿ格虽然9o份的ÿ格ß是P7o份的一，但是在硬盘P以及在节点之间A联P，速度会更O一些2算力租赁企业会尝试以更O的p本在向租借方提供服á2因此后续的ÿ格，ÿ能需要跟Þ用端去做结合2到了ßÿ能会p几家在中文领域超过GPT3.5，叠àà个情况来算，整个ÿ格在那个阶段会p一定的P升趋势2长期来看，未来ÿ能ß要参考ÿ外技术的进展，目前ÿ外在往多模态方向发展，一æ多模态p了爆发之后，算力需求将会是爆发式的增长2据公开的研究，当模型的参数量增大10倍，整体的算力需求将扩大100倍2à是当前技术无法突破的一个点2因此，q判断算力租赁ÿ格ß是会P涨2对于很多算力租赁企业来讲，能否p资金买到t，以及买到t多久能到货是很关键的2很多企业初的目标是建1万[算力，但是到目前止到货的算力甚óO到1000[，目前行业内的Ā状就是拿t速度很慢2同时，对算力租赁企业来说网络à块的要求ß是比较高的2因对于1,500ÿ参数以P的模型决定训练效率以及推理效果à部V，O只是单纯的单t算力，ß包括HBMà种高端显`的量以及t间 A联的速度2Ā在ÿ内Q一个¬单去拿到à高配置的t，一般得半，因英伟达要ÿ外供货，对于ÿ内来说供货量没p那么大2 此外，对于算力租赁企业能否获得长足的增长，常ÿ能一些性的需求，包括帮政府做代ß营，把à部V整体`同起来也很关键2因算力O单是来自大模型的需求，各个地方的测算中心也p很多在用ÿ外的算力«算中心2包括城市大脑的建设，每个城市的|块链节点，都是需要拿到Ā去«算的，如果能把à块也做好，也是一块很大的增长点2 二1交流P问答ÿ节 QÿV析一Q目前整个算力租赁市场的大概的格局是Ā么？从ÎQ半以来，拿t的节奏会O会比以前要稍微快一 点？ Aÿ超过一半的企业的没p达到初«划的算力2一个方面本身t的到货量没p那么多，另一个方面企业coverOPà的p本21000[的算力，经过测算ÿ能需要2~3个ÿ才能cover得P2从à个角度V析，很多企业的目标建1万[算力，资金是O够的2整体来说Î的到货量跟大_认的ß是p一定的差距2 从明来说，供货方面ÿ能会好一点，但整体明O会改善z多，再往后一到货情况会改善很多，q认大概是à 的趋势2 Qÿ在整个算力市场，ÿ内_的生态会O会说在智慧城市à一块p更多的参P，然后打破原p的竞争格局，从科研 机构的角度来看，怎么看待à个问题？ Aÿ11_是按金_塔形式在发展大模型，就是à些行业在提供O只是算力本身，ß包括网络`储1一些AI框架1训练过程中的子`W，一整套从ß层硬þ到软þAI框架的服á2_是从à个角度W入行业，并O说单纯的从大模型的角度，大模型角度只是一个层面，_Ā在在大模型很多tob的领域þ经p¬单了2_在大模型à块的`势来自于它之前对各个行业场景的锤炼，以及对相关数据的整合，它整个一体W的产品形态以及对于很多à种小本场景的模型能力比w他之前没p做过场景的大模型的企业更p`势的，就是从大模型赋能行业端à是_的`势2 21整体的一体W能力，O光需要一个模型，而是整体的，企业用起来整体会更方便，包括整个模型的效率以及性能à块2整体_大模型的提升效率能达到一个20%以P，à是公开的数据2它整体像单t算力ßÿ以，跟英伟达a100ÿ能差距没p特别大，整体60%þ右2但_在做集p的时候，一æà个集群整体的使用，q们的算力集群的使用效率ÿ能经常会O到50%，à是一个常态，à是它跟英伟达做对比的缺点2短期业内Oz关注à个缺点，大家短期更关注把整个ß能做起来2但是到了中长期，追求极ô性ÿ比的时候，如果_在à块的一个点ß没p做起来，那么大家ÿ能会考虑像ÿ内w他的算力生态，包括甚óp的会O会转型英伟达2 Qÿ租赁ÿ格未来几的一个预测中枢大概是在Ā么的水，明和后大概V别会达到一个Ā么的状态？ Aÿ供给端Þ该态势在短期O会pz大ØW，但需求端会p一个比较大的ØW2ÿ格明ØWß是偏阶段性稳P 升2到后，整个ÿ格ÿ能会微微的Q降，然后会阶段性维持一些时间2q认ÿ内在推理端是p自研能力的，在后 à块ÿ能会p一定的产能2因此ÿ格会微微Q降2 Qÿ需求是来自于哪些方面，训练ß是推理？ Aÿ当前阶段偏向训练，推理ÿ内处于比较早期2 Qÿ租赁Ā在能选的只pa800和h800？ AÿĀ在租赁方面409013090也能租到，但a800是要的2 Qÿ拿a800的t来做推理，p没p性ÿ比？ Aÿ中高端显t在视频场景Q，它的性ÿ比1效率是更高的2 Qÿ到了2025模型训练都p一定的p果后，是O是就O需要那么多算力了？ Aÿ训练的算力需求VO方面211整个大模型都往偏场景端去拓展，ð的场景是需要ð的数据Þð训练，带来数据端的一个增长，训练的需求2 21模型参数量的增长，在transformerà套架构Q，更多来自于模态的数量增长带来模型参数量增长的一个ØW2多模态在接Q来半一定在大模型Ý面是一个最Þ要的增长点，在à个层面会带来算力的增长231在训练阶段算力需求来自于经常需要去迭代大模型，一般一个o需要迭代一次2 QÿAI算力租赁是因Ā在短期缺t带来的暂时性Ā象，ß是从长期来看à个行业确实p自ý生`的空间？ Aÿ对中小企业1初[企业1科研机构à种偏向轻资产的模式，转租赁的方式会是一个好选择2 Qÿÿ内算力比如说_它à边对英伟达à边指代性怎么？比如训练用英伟达的，然后推理用_的？ Aÿ全部用英伟达去训练，然后基于_去推理是没p问题的，在技术Pÿ以实Ā的2 Qÿ明ÿ能英伟达的t对q们来说ß是非常紧张，ÿ内的t是O是像_à种就p机会？ Aÿ_当前阶段，要机会ß是来自于各个地方的政府项目和地方的金融1能源1教育等等à些领域的tob场景，但是大部VA联网企业ß并没p全面的去用他们的算力去提供服á2A联网企业更à在乎整个极ô的效率à一块2 Qÿ_的芯w据说对扩大模型兼容性比较差，目前p没p改善？ Aÿ稳定性方面_ßO错，调度效率à方面跟英伟达ßp一定的距离2 Qÿ像交通行业，接Q来整体推理需求P来比较快的à个时间节点大概是在Ā么时候？ Aÿ交通在城市大脑1自动驾驶1铁轨领域后续会比较快速态势的增长，因没p大规模场景，推理阶段的算力需求大概是训练的1.5～2倍的量2 Qÿ接Q来哪个方向P的推理算力需求会快速增长？ Aÿ目前教育1法律和Þ公需求较大，未来偏[作1剪辑1游o会快速增长2 Qÿ明英伟达给ÿ内供的量，s他整体的出货量大概是多大的比例，然后ß厂商的s比又p多少呢？ Aÿÿ内à边s比O是很高，Þ该O到30%2ß厂商s比O是特别高，大概20%130%以内2 Qÿ从产业的情况来看，p没pð的路线能够挑战Ā在transfomrer架构的，因à种对算力1对参数的感觉p点z简 单粗暴了2 Aÿtransformer本身是大力出奇Ā2当它ß层的架构，确实是x备统一的表Ā力，后面增à3D模态1ß动模态，会发Ātransformer都能做出来，à是它的`点2然后确实它对于算力的í耗à块，整个的复杂度是比较高的2所以Ā在p一些ð的项目，把transformer完全去改进Þ写的，Î8o份香港à边跟ÿ外做出来一个统一的表Ā架构，当然à个是停留在论文阶段，并没p在ý业场景去用2à些ð的`W的模型，会在半一内会被采纳2transformer它的 `点很明显，缺点也很明显2 Qÿ_的算力租赁市场接×度高吗？电耗p本差距多少？ Aÿ它的p本是要比英伟达à边O百V之20~30þ右2当前阶段_对于它生态Ý面的à些企业大概p50多家，它的服á力度ß是比较足的，比英伟达会O少2企业更多考虑的是_给他带来的整个生态P的，包括¬单，包括场景P的拓展迁移2 QÿĀ么推理的需求能在_服á器P使用，如何做适配的？ AÿZ开始会î及到花一点时间和人力去做适配，但是后续模型更改，包括基于à个x本去迭代，_à边是没pz大问题的2因_在代码性P1易读性P1Þ用性P基本一ô2 Qÿ_服á器使用的是哪些型÷？ Aÿ910系列2它的CPU端目前既p基于鲲鹏的，也p基于光的2基于光和基于鲲鹏的比例，大概是3:72 Qÿÿ内自研发，而O是在开源大模型P微调的企业要p哪些？ Aÿ基本Ā在能看到榜单P的都是自研发2p些早期ÿ能用开源x本去做了一个微调，然后验证在à个场景中是否能用2然后会将整个开源完全去拆开了，Þð去搭自ý的一个，据自ý场景去搭自ý的一个架构2à个基本Pÿ以认是一个偏自研发的2 Qÿÿ外用大模型做游o改Ø格局？除了大模型NPC，大模型生p界面外，ßp没pð的玩法出Ā？ AÿĀ在ÿ外沉式的游o，包括Ā伴式的à种虚拟人型的游o，ßp一些冒ÿ游o，它大模型叠à画Ā的项目，往常ÿ能需要一到几个o做p，Ā在大概Oyÿ以把一个游o去做完2当前阶段3Dà块技术壁垒þ经解决了，但是离Þ用ÿ能ßp小几个o的时间，à块出来之后，整个大模型ÿ以画3D人物了，背景没p问题，又ÿ以通过大模型给它设置策略2Ā在像中小型的游o企业[ð能力又足够，à个思路又解决了2游o行业ÿ能会î及到一些颠覆的情况2
