生成式 AI 和 ChatGPT 101

德意志银行(DeutscheBank)研究 生成AI和ChatGPT101 #PositiveImpact 2023年5月 艾德里安•考克斯专题研究 (+44)-20-7541-7775 adrian.cox@db.com 吉姆•里德(JimReid)(+44)-20-754-72943 jim.reid@db.com 是什么 生成人工智能吗? 它是如何工作吗? 你怎么用 聊天机器人吗? 生成什么 人工智能对未来意味着什么? 加林娜Pozdnyakova(+44)-20-754-74994 galina.pozdnyakova@db.com 重要的研究披露和分析师认证位于附录1中。MCI（P）097/10/2022.直到2021年3月19日不完整的披露 可能已显示信息，详情请参阅附录1。7t2se3r0ot6kwopa 图像DALL-E 6个月的炒作,聊天和恐惧 下周将是自推出以来的六个月 聊天机器人基于ChatGPTOpenAI的gpt-3.5大语言模型。 有一连串的发布，炒作 以及此后的活动。甚至在过去的一周里，OpenAI，谷歌和Meta宣布了新产品，OpenAI的 首席执行官在国会作证,和七国集团呼吁人工智能的“护栏”，以及许多其他发展。 你是否同意那些说 底层技术有“人造将军的火花” 情报”或你认为它只是一个“随机鹦鹉”,它对于了解它的工作原理及其含义至关重要。 这是我们面向通才的101系列中的最新产品，旨在清晰地概述生成式AI，并解决它的问题 是，它是如何工作的，如何使用它，以及它对工作意味着什么，经济和社会。它也是正在进行的的一部分 从本周开始的系列将更深入地研究该主题。 与此同时,有一件事情似乎是确定的。Amara定律, “我们倾向于高估一项技术在短期内，低估了长期影响，” 可能是为（或实际上是由）ChatGPT编写的。 1950:阿兰·图灵提出一个学习的机器 1980年代的早期发展神经网络 2012AlexNet飞跃在图像识别 2018年谷歌介绍伯特大语言模型 2022年11月30日:OpenAI 发射ChatGPT聊天机器人 1966年第一个聊天机器人伊丽莎 发达 2011年,苹果发布的第一个iPhone和人工智能助手Siri 2017年的“注意”是你所需要的纸宣布《变形金刚》 2019年OpenAI创建GPT-2 与12亿年LLM参数 德意志银行研究|阿德里安·考克斯（+44）2075417775|2023年5月1 1 生成的人工智能是什么特别之处? 几乎任何可以访问互联网的人现在都可以操作基于大型语言模型（LLM）的聊天机器人。与很少或没有成本和培训 1。一般(多功能)技术2。易用性3所示。快速应用 搜索 编码告诉我如何访问和使用 ChatGPT6行押韵诗 个月 电话 电视 WWW 翻译 情绪 分析 总结 人类------ 这样的问答 图像一代 实体识别 访问ChatGPT,注意这一点押韵, 访问网站的'。 chatbox,输入你的追求,点击发送,把它的测试。阅读他们的回答显示,保持聊天,观看 知识流。 智能手机 超级SpotifyPinterest 推特脸谱网InstagramChatGPT 两个月 0100200300 资料来源：德意志银行，公司报告，媒体头条;使用ChatGPT编写的ChatGPT内容 德意志银行研究|阿德里安·考克斯（+44）2075417775|2023年5月2 2 什么是大型语言模型（LLM），它适合人工智能的什么位置？ GPT-4是ChatGPT的基础技术，也是目前最引人注目的LLM，这是一种在海量数据，能够理解和生成类似人类的文本 人工智能能够智能行为的机器/软件： 三个层次 1。狭义人工智能:执行有限的任务 2。人工总体智能(AGI) 3所示。超智 机器学习神经网络 没有明确的学习和行为的数据指令 模型受人类的大脑 深度学习使用多个隐藏层人工神经 网络以提高性能 基金会 模型理解并生成文本和/或图像、代码 等;需要大量的训练数据 LLM 关注语言的任务 来源:德意志银行(DeutscheBank) 。 德意志银行研究|阿德里安·考克斯（+44）2075417775|2023年5月3 3 LLM的底层深度学习技术是什么？ 一个图像分类的例子 输入特征提取分类输出 传统的机学习: 专家输入结构化数据 猫 不是猫 输入特征提取分类输出 深度学习与神经网络: 可以学习更多复杂的结构和关系(如 像素)不需要人类帮助识别相关特性 隐藏层深 输入输出 “神经元/节点”“重量” 猫 不是猫 来源:德意志银行(DeutscheBank)。 德意志银行研究|阿德里安·考克斯（+44）2075417775|2023年5月4 4 什么是关键的神经网络，它们由什么组成？ 神经网络在过去十年中变得越来越复杂，特别是随着 2012年的卷积神经网络和2017年的变压器 关键的神经网络模型: (大约排名从简单到复杂) 常见的组件: 1.前馈：单向，无循环/反馈 2.复发性（包括长短期记忆，LSTM）：适用于文本等顺序数据;有反馈 连接，使他们能够“记住”以前的输入 3所示。卷积:层“盘旋”的输入,使它们特别擅长处理图像 4.生成对抗网络：由两个网络组成竞争并能生成新的数据 •输入层–需要的数据,如文本、图像,然后将其输入下一层 •隐藏层–在输入和输出层之间,负责数据计算和转换 •输出层–最后的结果,依赖于形式最初的任务–如分类、未来预测等 •神经元–节点层内权重, 激活函数和偏差应用于输入 5.自动编码器：无监督，用于数据压缩 6.变压器：最适合自然语言处理（NLP）： •处理输入令牌之间的所有配对关系 •用“自我关注”来权衡相关性，对于例如，句子中的不同单词并捕获长依赖的数据范围 •为OpenAI的GPT，Google的BERT等模型奠定基础和棕榈元的骆驼和DeepMind钦奇利亚 来源:德意志银行(DeutscheBank)。 •参数(重量和偏见)在训练 •决定是否一个神经元激活函数应该被激活,增加非线性吗 •令牌–单位的文本,如一个词或subword一个语言模型的输入 德意志银行研究|阿德里安·考克斯（+44）2075417775|2023年5月5 5 生成AI的转折点是什么? 海量的计算能力、数据和变压器模型的发明是氧气、燃料和热量。使生成AI着火 变压器结构 来源:德意志银行(DeutscheBank)。 变压器模型：SOTA的罗塞塔石碑（状态艺术)大型语言模型 从“关注我你所需要的“Vaswanietal,2017 德意志银行研究|阿德里安·考克斯（+44）2075417775|2023年5月6 6 计算能力的进步有多大才能让我们走到这一步？ 与过去的模型相比，最近的模型使用的处理能力或“计算”能力要高出几个数量级，并且更多参数和更复杂的模型架构 100,000,000,000 计算用来训练的人工智能系统 总petaFLOP(10¹⁵浮点操作),对数尺度GPT-4 10,000,000,000 1,000,000,000 棕榈(540b) GPT-3175b(达芬奇) 密涅瓦(540b) λ 100,000,000 10,000,000 1,000,000 T5-11BT5-3B Seq2SeqLSTMGPT-2 AlphaCode 休伯特 钦奇利亚 100,000BERT-LargeAlexaTM20b RNNsearch-50* 10,000 1,000 100 10 1 0 0 变压器 GPT 其他人愿景演讲语言多通道 1月10Feb-113月12日Apr-135月14日6月15日Jul-16Sep-1710月1811月1912月20日1月22日2月23日 资料来源：塞维利亚等人（2023年），《我们的数据世界》，德意志银行。注意：计算是根据AI文献中发表的结果估计的，存在一些不确定性。这该研究的作者希望估计值在2倍以内是正确的。 德意志银行研究|阿德里安·考克斯（+44）2075417775|2023年5月7 7 有多少参数llm现在吗? LLM中的参数数量是衡量规模的关键指标，在过去五年中激增。即使估计是真的，GPT。4不会是第一个1tn参数模型。据报道，中国多式联运五道2.0参数为1.75tn 的参数B 2000 1800 1600 选定的多模式和语言AI系统，参数超过50B 吴刀2.0 多通道语言 1400 1200 1000 800 M6-T[GPT-4?)* Megatron-Turing棕榈 600密涅瓦 400GPT-3(达芬奇) 200 0 果馅饼λ 火烈鸟骆驼 NLLB Mar-20Sep-20Apr-2110月21 钦奇利亚 5月22日12月22日 资料来源：塞维利亚等人（2023年），《我们的数据世界》，德意志银行。*注意GPT-4参数计数尚未公布;业界估计，它大约有1万亿个参数。参数为根据AI文献中发表的结果进行估计，并带有一些不确定性。该研究的作者预计估计值在10倍内是正确的。 德意志银行研究|阿德里安·考克斯（+44）2075417775|2023年5月8 8 多个参数为何重要? LLM显示出紧急能力，当模型达到时，能力突然（通常是出乎意料地）出现一定规模 功能少数镜头提示设置中的紧急能力示例 参数 资料来源：德意志银行，“大型语言模型的涌现能力”，Wei等人（2022年）;IPA是国际音标，NLU是自然语言理解 德意志银行研究|阿德里安·考克斯（+44）2075417775|2023年5月9 9 准备和使用一个LLM的步骤是什么? LLM经过预先训练，然后通常在用户提示他们执行任务之前对数据进行微调以获得技能集 大量的 非结构化数据 1)Pretraining (通常是self-supervised) LLM 2)(一般) 微调, 特定的标签 以任务为中心的数据 (如医疗、法律) 4)提示 (上下文输入) 5)推理 生成的输出(文本,图片等) 3)Chatbot覆盖有时进一步 训练与人类反馈来改善它的表现如何 6)输出纳入账户为背景随后的提示聊天模式 来源:德意志银行(DeutscheBank)。 德意志银行研究|阿德里安·考克斯（+44）2075417775|2023年5月10 10 llm符合其他技术在哪里? “技术堆栈”建立在硬件和云计算之上。LLM通常可以支持多个应用程序 通过API（应用程序编程接口）与它们进行交互。应用程序还可以通过“插头”获得额外的技能-ins” 文本图像编码多通道 OpenAI/M'soft谷歌其他人 应用程序 API接口 基金会 模型/LLM ChatGPT 必应 GPT-3GPT-4等 吟游诗人 伯特棕榈λ 谷歌 碧玉 YouChat等 心灵的深处钦奇利亚 OADALL-E2 稳定的扩散 Midjourney等 元的骆驼(打开 源) Github副驾驶员OA法典 OAChatGPT等 许多其他封闭和开放源模型,一些托管在网站 像拥抱脸 跑道第2代等 云计算 硬件 来源:德意志银行(DeutscheBank)。 Azure 云平台 (GCP) 亚马逊的 AWS 英伟达,AMD等gpu(图形处理器) 阿里巴巴云,甲骨文云,IBMCloud等 德意志银行研究|阿德里安·考克斯（+44）2075417775|2023年5月11 11 你怎么使用聊天机器人吗? ChatGPT及其竞争对手的外观和感觉都像搜索引擎，但与它们互动更有效，例如与人交谈，提供大量背景，并期望答案可能比事实更有创意 基本方法缩短例子提示各种用例 1.问你正在进行一场谈话和一个人 2.给出背景：越多越好，包括目标，语气等; 您可以粘贴相关文本和数据（可以粘贴的数量处理取决于模型) 3所示。改述、纠正和澄清如果你没有得到答案你想要的——你不需要重申整个上下文 业务 •识别一个金融公司10种方法可以使用人工智能… •您是客户服务代表。写一篇道歉信... •把这个数据