计算机 DeepSpeed-Chat,应用与算力的加速器 微软开源DeepSpeed-Chat,助力类ChatGPT模型训练。开源社区贡献了很多类 GPT模型,但RLHF环节作为ChatGPT能力的重要来源,实现依然有一定复杂度。2023年4月12日,微软开源了DeepSpeed-Chat,它能进行简单、快速且经济的RLHF训练,适用于各种规模的类似ChatGPT的模型:只需要用一个脚本,就能够采用预训练的Huggingface模型,使用DeepSpeed-RLHF系统运行 证券研究报告|行业周报 2023年04月15日 增持(维持) 行业走势 完成RLHF过程,生成自己的类ChatGPT的模型。DeepSpeed-HE是DeepSpeed-RLHF系统的引擎,具备三大优势:1)效率和经济性:效率比现有其他系统快15倍以上。2)出色的可扩展性:支持数千亿参数的模型,在一天内可以训练一个庞大的175B模型。3)亲民的RLHF训练:只需一个GPU就能支持训练超过130亿个参数的模型。 48% 32% 16% 0% -16% -32% 计算机沪深300 算力需求伴随应用而生。1)DeepSheep-Chat降低了RLHF的工程难度以及算力 需求,但RLHF在ChatGPT训练过程中的算力需求占比极小。ChatGPT的成功, 基石是预训练大模型GPT-3.5/4,绝大多数算力消耗在预训练环节而不是RLHF。 2022-042022-082022-122023-04 2)即使有能大幅降低大模型训练全过程算力需求的技术出现,也只会促进厂商追 求更大更强的模型。OpenAI的目标是要实现通用人工智能,其他大厂也必将全力追赶OpenAI,目前的大语言模型对于通用人工智能还只是一个起步,技术进步只会加速人类对更强AI的探索而不是让人类安于现状。 DeepSpeed-Chat加速应用百花齐放,中期加大算力需求。DeepSpeed-Chat降低了RLHF的工程难度,并极大降低了微调大模型的成本,让中小厂商更容易基 于大模型实现细分领域应用,如办公、多模态GPT、智能助理、金融、医疗等场景训练中模型微调的难度和成本将大幅降低。同时中小应用厂商在一些不需要模型能力非常强的场景,也可以自己基于开源模型,迅速低成本进行RLHF得到自己的小型类ChatGPT模型进行应用落地。除了训练端的算力需求,在应用爆发后,推理侧的算力需求将指数型增长。DeepSpeed-Chat加速各类应用落地,中期算力需求有望迎来大爆发。 投资建议。 建议关注:算力:英伟达、中科曙光、海光信息、寒武纪、易华录、光通信产业链、拓维信息、常山北明、神州数码、浪潮信息、景嘉微、工业富联。 大模型及技术公司:百度、阿里、华为、360、科大讯飞、云从科技、昆仑万维、海天瑞声、拓尔思、腾讯、字节跳动等。 应用:1)对标微软办公:微软、金山办公、彩讯股份;2)多模态GPT(输入输出信号变化):大华股份、海康威视、万兴科技、千方科技、当虹科技、云从科技、萤石网络、商汤科技、中科创达、新国都等。3)互联网传媒:昆仑万维、汤姆猫、蓝色光标、中文在线、利欧股份、游戏、数字人、电商等。4)智能助理(耳机/音箱):漫步者、科大讯飞、传音控股、国光电器、恒玄科技、奋达科技、惠威科技等。5)其他优质应用:同花顺、恒生电子、金证股份、上海钢联、石基信息、汉得信息等。6)AI安全:新华网、人民网、电科网安、美亚柏科、安恒信息等。7)国内巨头合作:光云科技、赛意信息、云鼎科技、朗新科技、润和软件、软通动力等8)医疗应用:润达医疗、嘉和美康、卫宁健康、创业慧康。8)机器人:三花智控、拓普集团、鸣志电器、绿的谐波、晶品特装。 风险提示:AI技术迭代不及预期风险;经济下行超预期风险;行业竞争加剧风险。 作者 分析师刘高畅 执业证书编号:S0680518090001邮箱:liugaochang@gszq.com 相关研究 1、《计算机:AIGC监管推进,加速产业规范健康发展 2023-04-12 2、《计算机:车载入口:AI助理与自动驾驶的最佳搭配》2023-04-09 3、《计算机:阿里通义千问测评:国内一线,积极追赶 2023-04-09 请仔细阅读本报告末页声明 内容目录 1、微软开源DeepSpeed-Chat,助力类ChatGPT模型训练3 2、算力永不会被满足,技术进步将催生更多需求4 3、DeepSpeed-Chat加速应用百花齐放,中期加大算力需求5 4、投资建议6 6、风险提示7 图表目录 图表1:HuggingFace社区可下载大量开源NLP模型3 图表2:RLHF流程示意图3 图表3:GPT-3预训练使用token数量4 图表4:InstructGPTRLHF训练使用提示数量5 图表5:OpenAI微调服务的价格表6 1、微软开源DeepSpeed-Chat,助力类ChatGPT模型训练 自ChatGPT席卷了整个AI界以来,开源社区也努力贡献了许多类GPT模型,例如Meta开源的OPT(OpenPre-trainedTransformer)系列模型,HuggingFace是一个用户共享模型和数据集的开源交流平台,与微软深度合作,可以下载众多开源模型。 图表1:HuggingFace社区可下载大量开源NLP模型 资料来源:HuggingFace官网,国盛证券研究所 ChatGPT的强大能力来源之一在于其基于预训练模型通过人类反馈强化学习 (RLHF)对模型进行微调,让模型输出能更好地与人类偏好对齐,RLHF的流程实现 起来较为复杂,也需要算力支撑,使用开源模型微调出类ChatGPT模型的难度依然很 大。ChatGPT的RLHF过程可以概括为3步: 1)由人类标注的数据微调对预训练模型做有监督微调(SupervisedFineTune,SFT)。 2)让模型给出多个输出,由人类排序比较,训练一个奖励模型来模拟人类偏好。 3)用奖励模型和PPO算法对模型做强化学习微调。 图表2:RLHF流程示意图 资料来源:OpenAI官网,国盛证券研究所 DeepSpeed是微软在2020年发布的开源深度学习优化库,2023年4月12日,微软进一步开源了DeepSpeed-Chat,它能进行简单、快速且经济的RLHF训练,适用于各种规模的类似ChatGPT的模型:只需要用一个脚本,就能够采用预训练的Huggingface模型,使用DeepSpeed-RLHF系统运行完成RLHF过程,生成自己的类 ChatGPT的模型。 DeepSpeed-HE是DeepSpeed-RLHF系统的引擎,具备三大优势: 1)效率和经济性:效率比现有其他系统快15倍以上。在Azure云上能以低于300美 元和600美元的价格分别在9小时内训练OPT-13B,在18小时内训练OPT-30B。2)出色的可扩展性:支持数千亿参数的模型,在多节点多GPU系统上可以实现出色的可扩展性,可以在1.25小时内完成13B的模型的训练,在一天内可以训练一个庞大的175B模型。 3)亲民的RLHF训练:只需一个GPU就能支持训练超过130亿个参数的模型。 2、算力不会饱和,技术进步将催生更多需求 DeepSheep-Chat降低了RLHF的工程难度以及算力需求,但RLHF在ChatGPT训练过程中的算力需求占比极小。ChatGPT的成功,基石是预训练大模型GPT-3.5/4,绝大多数算力消耗在预训练环节而不是RLHF。由于OpenAI还未公布ChatGPT训练细节, 从基于GPT-3做RLHF得到的InstructGPT的训练数据量来推测,GPT-3论文中提到训练数据有3000亿个token,而InstructGPT的RLHF过程中一共训练了不到10万条提示,按每条100个token算的话,RLHF训练使用的token数量是预训练中的十万分之三。因此DeepSheep-Chat对于大模型整个训练过程能优化的算力占比极小。 图表3:GPT-3预训练使用token数量 资料来源:GPT-3论文,国盛证券研究所 图表4:InstructGPTRLHF训练使用提示数量 资料来源:InstructGPT论文,国盛证券研究所 即使有能大幅降低大模型训练全过程算力需求的技术出现,也只会促进厂商追求更大更强的模型。80年代比尔盖茨曾说“640k对所有人都应该够了”,但现在一个普通的8G内存电脑,就已经超过了640k的万倍。OpenAI的目标是要实现通用人工智能,其他大 厂也必将全力追赶OpenAI,目前的大语言模型对于通用人工智能还只是一个起步,不管是硬件进步提高算力或是软件方案带来的算力节约,都只是加速人类对更强AI的探索,而不会让人类满足于现状。并且现在大模型只有少数实力雄厚的大厂能自主研发,如果有技术能降低现在规模的大模型的成本,在大厂追求更大更强模型的同时,原本只能使用大厂云服务的小厂也会更有动力部署自己的算力。 3、DeepSpeed-Chat加速应用百花齐放,中期加大算力需求 DeepSpeed-Chat降低了RLHF的工程难度,并极大降低了微调大模型的成本,让中小厂商更容易基于大模型实现细分领域应用,如办公、多模态GPT、智能助理、金融、 医疗等场景训练中模型微调的难度和成本将大幅降低。OpenAI目前为用户提供上传数据得到微调模型的服务,通过上传的token数量进行收费,这可能也是未来其他大模型厂商与下游应用厂商合作的商业模式,RLHF成本的降低有助于大模型厂商降低对下游 应用厂商的报价。同时中小应用厂商在一些不需要模型能力非常强的场景,比如限定咨询范围的客服AI,也可以自己基于HuggingFace开源模型,迅速低成本进行RLHF得到自己的小型类ChatGPT模型进行应用落地。 图表5:OpenAI微调服务的价格表 资料来源:OpenAI官网,国盛证券研究所 应用加速落地,中期将加大算力需求。除了训练端的算力需求,在应用爆发后,推理侧的算力需求将指数型增长。DeepSpeed-Chat加速各类应用落地,中期算力需求有望迎来大爆发。 4、投资建议 建议关注: 算力:英伟达、中科曙光、海光信息、寒武纪、易华录、光通信产业链、拓维信息、常山北明、神州数码、浪潮信息、景嘉微、工业富联; 大模型及技术公司:百度、阿里、华为、360、昆仑万维、科大讯飞、云从科技、海天瑞声、拓尔思、腾讯、字节跳动等; 应用:1)对标微软办公:微软、金山办公、彩讯股份;2)多模态GPT(输入输出信号变化):大华股份、海康威视、万兴科技、千方科技、当虹科技、云从科技、萤石网络、商汤科技、中科创达、新国都等。3)互联网传媒:昆仑万维、汤姆猫、蓝色光标、中文在线、利欧股份、游戏、数字人、电商等。4)智能助理(耳机/音箱):漫步者、科大讯飞、传音控股、国光电器、恒玄科技、奋达科技、惠威科技等。5)其他优质应用:同花顺、恒生电子、金证股份、上海钢联、石基信息、汉得信息等。6)AI安全:新华网、人民网、电科网安、美亚柏科、安恒信息等。7)国内巨头合作:光云科技、赛意信息、云鼎科技、朗新科技、润和软件、软通动力等8)医疗应用:润达医疗、嘉和美康、卫宁健康、创业慧康。8)机器人:三花智控、拓普集团、鸣志电器、绿的谐波、晶品特装。 6、风险提示 AI技术迭代不及预期风险:若AI技术迭代不及预期,NLP技术理解人类意图水平未能取得突破,则对产业链相关公司会造成一定不利影响。 经济下行超预期风险:若宏观经济景气度下行,固定资产投资额放缓,影响企业再投资意愿,从而影响消费者消费意愿和产业链生产意愿,对整个行业将会造成不利影响,NLP技术应用落地将会受限。 行业竞争加剧风险:若相关企业加快技术迭代和应用布局,整体行业竞争程度加剧,将会对目前行业内企业的增长产生威胁。 免责声明 国盛证券有限责任公司(以下简称”本公司”)具有中国证监会许可的证券投资咨询业务资格。本报告仅供本公