ChatGPT：技术原理、演进路线和应用场景

行业研究 证券研究报告 传媒2023年03月16日 传媒行业深度研究报告 ChatGPT：技术原理、演进路线和应用场景 推荐（维持） 华创证券研究所 证券分析师：刘欣 电话：010-63214660 邮箱：liuxin3@hcyjs.com执业编号：S0360521010001 行业基本数据 2022-03-16~2023-03-16 11% 1% -9% 22/03 -19% 22/05 22/0822/1022/1223/03 传媒 沪深300 相关研究报告 《传媒行业周观点（20230227-20230303）：继续关注教育信息化板块；ChatGPT成本下降，关注应用端机会》 2023-03-05 《TMT行业重大事项点评：数字中国布局规划提出，TMT板块有望全面受益》 2023-02-27 《传媒行业周观点（20230220-20230224）：建议关注教育信息化机会》 2023-02-26 为什么ChatGPT如此重要？AIC端产品中的第一个爆款，可能代表着商业化的拐点。1）从用户体验上，比起竞品和上一代产品，ChatGPT的连续对话能力明显更强，具备了大范围商业化的潜力。2）从应用场景的潜力上，语义 文本类产品想象空间较图片类更大。短期看有望落地的包括更专业的客服机器人、更垂直更专业化的A（I如医疗教育领域）、新一代的智能搜索等。3）ChatGPT的出现或将加快巨头对于AI的发展速度。ChatGPT的成功或将促进各科技巨 头加大对于AI的研发投入，如谷歌近日宣布投资OpenAI的竞争对手 Anthropic。大厂的竞争有助于技术的进步和商业化的加速。 股票家数(只) 148 占比% 0.02 总市值(亿元) 13,883.24 1.50 流通市值(亿元) 12,012.16 1.70 相对指数表现 % 1M 6M 12M 绝对表现 0.3% 15.3% 5.1% 相对表现 3.7% 18.4% 12.7% 为什么是ChatGPT？比起竞品和上一代产品，ChatGPT在多方面有了明显改善。1）道德性的增强，敢于质疑提问者提问前提的正确性和正当性。避免出现偏见、歧视等毒害信息。2）主动承认错误或主动承认无法回答某一问题。3 可以理解整段对话上下文的语义，而不是孤立的回答其中一个问题。4）对提问者意图判断能力大幅提升，并非单纯根据相关性进行答案罗列。因此整体上，ChatGPT有着比其他AI机器人更好的用户体验，具备了真正意义上的连续对话的能力。 如何落地？短期看是降本增效的新生产力工具，长期看可能带来新的内容生产范式。ChatGPT的成功证明了生成式模型的进化，实现通用人工智能AGI的可能性进一步提高。其重要性体现在AI对人类传达信息的载体有了更好 的学习，在此基础上各个媒介之间的互通成为可能。例如从自然语言生成编程语言，可以产生新的人机交互方式；从自然语言生成图片和视频，可以革新内容行业的生产范式。短期直接落地的场景可能是在文本端，提高人的效率：搜索、营销文案、客服、辅助写作；更长期的可能在于提高人机互动的智能，如在游戏、虚拟人方面的应用。 投资建议：关注什么？关注上游的算力扩张和下游的应用落地。文字语音、图片、视频等多形式的输入输出，或将为内容创作领域带来革命性变化。而更广的数据形态、更多的应用场景、更深的用户体验，亦将大幅提升支撑人工智能 的算力需求，算力或迎来高速扩张时代。建议关注：1）上游算力：浪潮信息、紫光股份、景嘉微、海光信息、宝信软件等。2）下游应用：应用层面建议关注百度集团和三六零（具备AI大模型和成熟的应用场景搜索）、中文在线（AI绘图、AI文字辅助写作）、万兴科技（AI绘图）、昆仑万维（AI绘图、文本、编程、音乐）、神州泰岳（金融场景下的NLP应用），此外，游戏、营销、虚拟人等业态也有望受益于对话智能程度的提升，建议关注相关公司如三人行、蓝色光标、天神互娱、天地在线等。3）算法和数据层面建议关注：商汤科技 （AI、计算机视觉）、科大讯飞（NLP）、拓尔思（NLP）、汉�科技（绘图、 NLP）、海天瑞声（数据标注）等。 风险提示：政策监管变动；技术发展不及预期；商业化落地速度不及预期。 投资主题 报告亮点 本报告与市场不同的地方在于，对于ChatGPT的技术原理、技术演进的路线和不同技术路线的差异进行了分析。ChatGPT不仅是一个“搜索答案并完成整合输出”的工具，大模型其本身就蕴含着强大的逻辑推理能力，其应用空间将有望更快的从文字端向图片、视频等其他形式扩张。多模态的通用型AI对人们生产生活的变化值得更加重视。 投资逻辑 本报告重点阐述了ChatGPT以及同类型算法的背后蕴含的技术原理、演进的路线和可能的应用场景。从技术的原理角度论述了为什么ChatGPT技术如此重要，为什么ChatGPT在当前时点迎来了爆发。同时，对于ChatGPT和AIGC可能率先落地的应用场景进行了推演和分析。短期看ChatGPT是降本增效的新生产力工具，长期看可能带来新的内容生产范式。ChatGPT的成功证明了生成式模型的进化，实现通用人工智能AGI的可能性进一步提高。其重要性体现在AI对人类传达信息的载体有了更好的学习，在此基础上各个媒介之间的互通成为可能。例如从自然语言生成编程语言，可以产生新的人机交互方式；从自然语言生成图片和视频，可以革新内容行业的生产范式。短期直接落地的场景可能是在文本端，提高人的效率：搜索、营销文案、客服、辅助写作；更长期的可能在于提高人机互动的智能，如在游戏、虚拟人方面的应用。 目录 一、是什么5 （一）什么是ChatGPT？效果最好的通用对话式AI大模型5 （二）背后的OpenAI是什么？背靠微软，通用AI研发领头羊5 （三）怎么理解ChatGPT的底层技术？三次关键技术变化，大力产生的奇迹7 （四）ChatGPT为什么提升如此明显？核心是在模型训练中加入了人类的反馈10 （🖂）为什么重要？ChatGPT在商业和工程上的重要性要大于科学上12 1、ChatGPT是AIGC产品中的第一个爆款，可能代表着商业化的拐点12 2、不是单纯的搜索引擎，ChatGPT具备从文本中学习的能力13 二、做什么？或许正在建立新的范式13 （一）智能搜索：推荐和搜索的界限可能更加模糊15 （二）内容的生产：除了效率的提升还有叙事方式的变革15 1、视频：当前以辅助为主，AI视频生成仍需改进15 2、游戏：AI助力生产效率提升，内容成本持续下降16 （三）营销和文本生成17 三、谁来做？18 四、风险提示18 图表目录 图表1公司发展历程6 图表2OpenAI核心AI项目7 图表3技术发展脉络7 图表4几种核心技术之间的关系8 图表5语义特征提取能力对比8 图表6长距离特征捕获能力对比8 图表7任务综合特征抽取能力对比9 图表8并行计算能力及运算效率对比9 图表9ChatGPT和BERT模型的区别9 图表10NLP模型发展趋势10 图表11模型和GPT3.5相比的变化10 图表12ChatGPT引入的RLHF训练方式原理11 图表13action-drivenLLM训练流程图12 图表14有人使用ChatGPT实现了虚拟机功能13 图表15生成式AI应用前景14 图表16应用场景的演进速度14 图表17AI视频编辑功能举例15 图表18剪映抠图举例15 图表19网易云AI音乐16 图表20各娱乐类目受生成式AI的影响程度16 图表21Roblex推出的文本生成3D模型软件系统16 一、是什么 （一）什么是ChatGPT？效果最好的通用对话式AI大模型 ChatGPT（全名为ChatGenerativePre-TrainedTransformer）是22年11月由OpenAI发布一款AI聊天模型（即可对话的交互式AI模型），用户只需输入包含相关需求的文本，ChatGPT即可自动完成回答。相较于其他同类产品，ChatGPT更拟真、更智能，可以回答后续问题、承认错误、挑战不正确的前提、拒绝不适当的请求，给予更高水平的AI交互体验。 ChatGPT具备强大的文字交互功能，包括但不限于日常对话、信息检索、代码生成与调试、自动文本创作等。其可实现与人类的拟真交互，一定程度上替代并简化了搜索引擎；并为文本创造类行业提供了一种全新且相对可靠的智能内容生成方案。OpenAI的CEOSamAltman称，ChatGPT在发布5天注册用户即达到100万，而其上一代GPT-3花了 将近24个月才达到这一体量。 （二）背后的OpenAI是什么？背靠微软，通用AI研发领头羊 OpenAI是一家美国的通用人工智能研究公司，是当前全球最著名的人工智能研究机构之一，已有研究成果包括GPT系列大语言模型、DALL·E系列文本生成图片预训练模型、Whisper系列语音识别模型等。据路透社报道，预计今年公司收入将达到2亿美元，到2024年将达10亿美元，公司估值已达200亿美元。据澎湃新闻援引美国财经媒体Semafor报道，微软希望向OpenAI追加投资100亿美元，交易达成后，OpenAI的估值将达到290亿美元。 2015年特斯拉创始人埃隆·马斯克和YC的前总裁萨姆·阿尔特曼（SamAltman）等6人共出资成立OpenAI。起初OpenAI为非盈利性人工智能公司，旨在与其他研究机构合作，开放各自研究成果促进AI技术发展。 由于特斯拉与OpenAI关系愈深，且GPT-2模型出现重大进展，2018年2月马斯克离开OpenAI，专注投身于SpaceX，萨姆宣布自己和YC再无干系，出任OpenAI的CEO。 2019年，ReidHoffman（LinkedIn联合创始人）和KhoslaVentures对公司进行投资，此后OpenAI宣布转型为OpenAILP，设定“有限盈利”（capped-profit）架构。随后微软投资10亿美元，宣布共同打造AzureAI超级计算技术，同时OpenAI的服务也全面转移至Azure云计算上，共同构建具有经济价值的AGI。 图表1公司发展历程 资料来源：商业知行侠，OpenAI，华创证券 OpenAI广泛覆盖AI相关领域研究，其技术路径迭代如下 2016年公司开发了第⼀个人工智能系统，在《Dota2》游戏中击败了职业玩家； 2017年发布了GPT-1（初代生成人类文本的语言处理模型）； 2019年2月14日官宣GPT-2模型；同年3月4日发布用于强化学习代理的大规模多代理游戏环境：NeuralMMO；2019年4月25日发布最新深度神经网络MuseNet，可用于音乐作品创造； 2020年4月14日发布用于分析神经网络内部特征形成过程的可视化工具Microscope；5月28日正式公布GPT-3相关的研究结果，6月17日发布ImageGPT模型，将GPT运用于计算机视觉领域，9月GPT-3的商业化授权给了微软； 2021年1月5日发布CLIP，可有效地从自然语言监督中学习视觉概念；并发布DALL·E模型，可以实现基于文本描述生成全新图像。2021年8月10日发布GPT-3后代模型Codex。 2022年1月27日发布InstructGPT（基于GPT-3的AI对话系统）；4月6日发布DALL·E2（DALL·E二代模型）；9月21日发布Whisper（完全开源的语音识别预训练模型）。2022年11月30日，发布ChatGPT系统（AI对话系统）。 图表2OpenAI核心AI项目 资料来源：OpenAI，华创证券 （三）怎么理解ChatGPT的底层技术？三次关键技术变化，大力产生的奇迹 通俗的说，GPT是一个基于统计学的语言模型，其工作就是对词语进行概率分布的建模，也就是利用已经说过的话去预测下一个词出现的分布概率。衡量一个语言模型的功能最重要取决于两点：一是是否能有效利用历史上下文信息，这决定其对于人类意图的理解能力。二是是否有足够丰富高质量的训练语料，这决定其回答的质量。此外就是性能和成本之间的平衡。