ChatGPT研究：开启AI新纪元

“尚研圆桌派”技术沙龙 ChatGPT研究 开启AI新纪元 技术部2023年2月 获取更多最新资料请加微信：chensasa666 1 ChatGPT发展历程 2 ChatGPT技术路径 3 商业方向与启示 获取更多最新资料请加微信：chensasa666 ChatGPT是生成式人工智能技术浪潮的一部分 ChatGPT（全名：ChatGenerativePre-trainedTransformer），是由OpenAI团队研发创造，人工智能技术驱动的自然语言处理工具，它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码，写论文等任务。 AIGC 典型事件 AIGC 发展特点 人工智能总体阶段 生成式人工智能技术浪潮 获取更多最新资料请加微信：chensasa666 2022是人工智能生成内容元年 2023开始AIGC渗透率将快速提升 从2022年8月StabilityAI发布StableDiffusion开启了AI绘画开始 ，到12月OpenAI推出ChatGPT将人机对话推到了新的高度，可以看出AIGC技术已经逐渐参与到日常生活、工作场景中，是AI技术发展的新趋势，并达到了新的阶段。 ChatGPT的发展历程 OpenAI是由创业家埃隆·马斯克、美国创业孵化器YCombinator总裁阿尔特曼、PayPal联合创始人彼得·蒂尔等人于2015年在旧金山创立的一家非盈利的AI研究公司，其核心产品有三: •ChatGPT：人工智能对话模型，能够回答用户提出的问题（及跟进问题）、承认自身的错误、质疑不正确的假设以及拒绝不合理的要求。 •DALL-E：人工智能图像生成模型，能够根据用户自然语言生成图像和画作; •Codex：人工智能代码生成模型，能够将自然语言转化为代码，主要为微软GitHubCopilot提供AI服务支持。 获取更多最新资料请加微信：chensasa666 ChatGPT是在GPT基础上进一步开发的自然语言处理模型 GPT模型是一种自然语言处理(NLP)模型，使用多层变换器(Transformer)来预测下一个单词的概率分布，通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本. 从GPT-1到GPT-3智能化程度不断提升，ChatGPT的到来也是GPT-4正式推出之前的序章 获取更多最新资料请加微信：chensasa666 1 ChatGPT发展历程 2 ChatGPT技术路径 3 商业方向与启示 获取更多最新资料请加微信：chensasa666 ChatGPT是多类技术发展演化的最终结果 ChatGPT之所以能实现的人类意图，来自于机器学习、神经网络以及Transformer模型的多种技术模型积累，最终形成针对人类反馈信息学习的大规模预训练语言模型。 基于规则 1950年开始 机器学习神经网络 1980年开始1990开始-2006突破-2015繁荣 Transformer 2017年开始 ⼿写规则，简单粗暴只能处理⾮常少量数据 找到⼀些函数或参数分类固定量数据 像人脑一样学习，开始尝试大量数据提前标记数据，根据大量数据分类学习一个复杂的参数集合 优化人脑学习过程，关注重点而非全部 GPT1 GPT2GPT3InstructGPT ChatGPT Transformer 2018 1.17亿参 2019 15亿参 2020 1750亿参 2022 T5BARTM2m-100BigBird BERT RoBERTa 获取更多最新资料请加微信：chensasa666 XLMALBERT ELECTRA GPT-1借助预训练，进行无监督训练和有监督微调 GPT-1模型基于Transformer解除了顺序关联和依赖性的前提，采用生成式模型方式，重点考虑了从原始文本中有效学习的能力，这对于减轻自然语言处理(NLP)中对监督学习的依赖至关重要 •GPT(GenerativePre-trainingTransformer)于2018年6月由OpenAI首次提出。GPT模型考虑到在自然语言理解中有大量不同的任务，尽管大量的未标记文本语料库非常丰富，但用于学习这些特定任务的标记数据却很少，这使得经过区分训练的模型很难充分执行。同时，大多数深度学习方法需要大量手动标记的数据，这限制了它们在许多缺少注释资源的领域的适用性。 •在考虑以上局限性的前提下，GPT论文中证明，通过对未标记文本的不同语料库进行语言模型的生成性预训练，然后对每个特定任务进行区分性微调，可以实现这些任务上的巨大收益。和之前方法不同，GPT在微调期间使用任务感知输入转换，以实现有效的传输，同时对模型架构的更改最小。 获取更多最新资料请加微信：chensasa666 GPT-1模型更简化、计算加速，更适合自然语言生成任务(NLG) GPT相比于Transformer等模型进行了显著简化 •相比于Transformer，GPT训练了一个12层仅decoder的解码器(原Transformer模型中包含Encoder和Decoder两部分)。 •相比于Google的BERT(BidirectionalEncoderRepresentationsfromTransformers,双向编码生成Transformer)，GPT仅采用上文预测单词(BERT采用了基于上下文双向的预测手段)。 注：ChatGPT的表现更贴近人类意图，部分因为一开始GPT是基于上文的预测，这更贴近人类的话语模式，因为人类言语无法基于将来的话来做分析。 transformer架构 GPT-1架构 GPT用于对不同任务进行微调的输入转换 获取更多最新资料请加微信：chensasa666 GPT-2采用多任务系统 GPT-2在GPT-1的基础上进行诸多改进，实现执行任务多样性，开始学习在不需要明确监督的情况下执行数量惊人的任务 •在GPT-2阶段，OpenAI去掉了GPT-1阶段的有监督微调(fine-tuning)，成为无监督模型。 •大模型GPT-2是一个1.5B参数的Transformer，在其相关论文中它在8个测试语言建模数据集中的7个数据集上实现了当时最先进的结果。模型中，Transfomer堆叠至48层。GPT-2的数据集增加到8million的网页、大小40GB的文本。 GPT-2调整优化的目的是为了解决零次学 机器学习系统通过使用大型数据集、高 容量模型和监督学习的组合，在训练任务方面表现出色，然而这些系统较为脆弱，对数据分布和任务规范的轻微变化非常敏感,因而使得AI表现更像狭义专家，并非通才。 转向更通用的系统，使其可以执行许多任务，最终无需为每个任务手动创建和标记训练数据集。 引用来源：《LanguageModelsareUnsupervisedMultitaskLearners》论文 获取更多最新资料请加微信：chensasa666 •习问题(zero-shot)(注：zero-shot问题，就是针对AI在面对不认识的事物时，也能进行推理) • 多任务模型的特点：跟传统ML需要专门 的标注数据集不同(从而训练出专业AI)，多任务模型不采用专门AI手段，而是在海量数据喂养训练的基础上，适配任何任务形式。 GPT-2仍未解决应用中的诸多瓶颈 GPT-2聚焦在无监督、zero-shot(零次学习)上，然而GPT-2训练结果也有不达预期之处，所存在的问题也亟待优化 •在GPT-2阶段，尽管体系结构是任务无关的，但仍然需要任务特定的数据集和任务特定的微调：要在所需任务上实现强大的性能，通常需要对特定于该任务的数千到数十万个示例的数据集进行微调。 资料来源：《LanguageModelsareFew-ShotLearners》论文获取更多最新资料请加微信：chensasa666 GPT-3取得突破性进展，任务结果难以与人类作品区分开来 GPT-3对GPT-2追求无监督与零次学习的特征进行了改进 GPT-3利用了过滤前45TB的压缩文本，在诸多NLP数据集中实现了强大性能 GPT-3是一个具有1750亿个参数的自回归语言模型，比之前的任何非稀疏语言模型多10倍。对于所有任务(在few-shot设置下测试其性能)，GPT-3都是在没有任何梯度更新或微调的情况下应用的，仅通过与模型的文本交互来指定任务和few-shot演示。 GPT-3在许多NLP数据集上都有很强的性能(包括翻译、问题解答和完形填空任务)，以及一些需要动态推理或领域适应的任务(如解译单词、在句子中使用一个新单词或执行三位数算术)。GPT-3可以生成新闻文章样本(已很难将其与人类撰写的文章区分开来)。 GPT-3few-shot(少量样本)的综合表现是在无监督模式下最优的 GPT-3的模型参数在GPT-2的基础上增加110多倍 资 ageMo Few Learners，国泰 券研 获取更多最新资料请加微信：chensasa666 InstructGPT模型在GPT-3基础上进一步强化 InstructGPT使用来自人类反馈的强化学习方案RLHF(reinforcementlearningfromhumanfeedback)，通过对大语言模型进行微调，从而能够在参数减少的情况下，实现优于GPT-3的功能 •InstructGPT提出的背景：使语言模型更大并不意味着它们能够更好地遵循用户的意图，例如大型语言模型可以生成不真实、有毒或对用户毫无帮助的输出，即这些模型与其用户不一致。另外，GPT-3虽然选择了少样本学习(few-shot)和继续坚持了GPT-2的无监督学习，但基于few-shot的效果，其稍逊于监督微调(fine-tuning)的方式。 •OpenAI在GPT-3基础上根据人类反馈的强化学习方案RHLF，训练出奖励模型(rewardmodel)去训练学习模型(即：用AI训练AI的思路) •InstructGPT的训练步骤为：对GPT-3监督微调——训练奖励模型(rewardmodel)——增强学习优化SFT InstructGPT训练三步骤各自对应的数据集规模如下labeler指的是OpenAI的标注人员，customer指GPT-3API的用户) 获取更多最新资料请加微信：chensasa666 ChatGPT训练 •InstructGPT与ChatGPT属于相同代际的模型，ChatGPT只是在InstructGPT的基础上增加了Chat属性，且开放了公众测试 •ChatGPT提升了理解人类思维的准确性的原因在于利用了基于人类反馈数据的系统进行模型训练 获取更多最新资料请加微信：chensasa666 ChatGPT核心技术-Transformer ChatGPT的计算逻辑来自于一个名为transformer的算法，它来源于2017年的一篇科研论文《Attentionisallyourneed》，下论文中的核心架构： 命题：翻译中文“我爱你”成英文 Transformer的三阶段： 1.编码（Embedding） 2.定位（Positionalencoding） 3.自注意力机制（Self-Attention） Step1:把单词表达转换为一个512维度的向量（我），计算机可以认识这个字，说明这是512维空间的一个点。 Step2:定位编码，通过以下公式编码： Transformer核心算法结构 微调一个新的高维空间，生成一个新的向量（我-位置），新向量不仅表示我这个字的意义，还可以表示我在“我爱你”这个句子的位置信息 获取更多最新资料请加微信：chensasa666 ChatGPT核心技术-Transformer Step3：首先进行向量化并吸收句子位置信息，得到一个句子的初始向量组 Step4：用每个字的初始向量分别乘以三个随机初始的矩阵WQ，Wk，Wv分别得到