传媒行业通用预训练模型技术拆解：AIGC系列专题，“大模型+小样本”快速适配下游场景，“AI+传媒”的效力取决于适配与迭代

证券研究报告 上海证券AIGC系列专题：“大模型+小样本”快 SHANGHAISECURITIES速适配下游场景，“AI+传媒”的效力取 决于适配与迭代 通用预训练模型技术拆解 增持(维持)主要观点 传媒行业： 我们拆解ChatGPT技术模型后认为，GPT与应用层的结合属于“通用 大模型+行业小样本”的技术范式，通过上游通用预训练语言模型及下 日期：2023年03月29日游任务知识迁移实现通用大模型与要直应用的快速造配，形成独立且 差异化的应用专属大模型。其中预训练大模型的构建可以得更多的资 分析师：陈曼源和数据转移到上游，小群本学习可以提升模型达代的速度并快建适 Tel:021-53686134配“下游场景。 E-mail:chenmin@shzq.com SAC编号：S0870522020001我们认为“AI+传媒"在应用层表现效力优劣的关键取决于通用大模型 对垂直应用的连配程度及选代速度。 最近一年行业指数与沪深300比较适配程度是指：多模态的榆入及输出是否匹配应用层的输入及检 出。比如GPT-4属于“图+文”多模态输入+“文”单模态输出， 3300因此输入模态为“图或文”且输出模态为“文”的垂直应用更造 GPT-4: 22选代建度是据：应用层产生的“行业小样本”的数据量是否匹配 大模型的选代委求。根据我们对GPT模型的理解，比如BingAI产 行业动态 2业小样本”源自用户的反馈和互动。国此我们认为，对子超出 GPT所使用的预训练数据库范周（2021年9月前）的事实性表 速，BingAI反馈的是捷索的结果，ChatGPT反馈的是用户主动的 21% 观点，BingAI反读的效果比ChatGPT更好。 相关报告：因此文字类/人声类（声音可有效转化为文字）输入及输出的应用或内 《周观点：ChatGPT开放插件测试，“行业容与以GPT为代表的生成式文本AI造配度最高。图片、视频、3D建模 小样本"适配范图星著增加》等更复杂的模态输出高要A技术的进-一少演进。对应到具体应用，我 2023年03月26日们认为（1）广告：送配场景包括按索、虚拟载字人、文案类工作效率 《2023W11周数据采踪》的茂升等；（2）电商：送配场景包括智能客服、图文编辑、内容测许 2023年03月20日等：（3）游戏：适配场景包括智能NPC、IP化虚拟人等：（4）影 《周观点：OpenAl及百度先后发布生成式视：透配场景包拆端剧、互动电影等。 Al，“大模型+小样本"选配每类美场景》 2023年03月19日我们认为AIGC可分为技术方（直接收益）及场景/应用方（直接&间接 收益）两类，前者为AIGC相关技术直接研发及相关上下游（如算 力），变现模式预计包括会员付费、广告变现、B端变现等（如技术投 权/服务/运维等）：后者为AIGC技术与落地场录深度融合，场景/应用方利用AIGC技术获得直接收益或间接收益：（1）直接收益对应收入 弹性，对应市场空间的增量；（2）间接收益对应利润弹性，对应利润 率的提高。 投资建议 1、建议关注A股释缺的优质内容型平台公司【芒果超媒】，有望成为传继估值中枢销 2、建议关注期有海外用户/业务，有望接入GPT的优质标的，如【汤姆 上海证券 行业动态 猫】（全球用户）、【昆仑万维】（Opera）、【神州泰岳】（游戏出海 +NLP）、【吉宏股份】（跨境电商SaaS）、【华凯易佰】（跨境电对）、【焦点科技】（跨境电商）、【蓝色光标】（出海）3、建汉关注可与望成式图像AlMidjoumey对标的【渐文互联】 ():、【视觉中国】. （术 4、建汉关注国内电商类的【新华部】（屯商代运营），【值得买】（内容测评）、【逸望科技】（虚权人》、【重网壹创】（电商代运营） 【青本股份】（电商代运管）、【著明臣】（电商代造营）、【前人丽 收）（电商代运营）：5、建汉关注AIGC+游戏，如【三七互娱】，【完美世界】、【古比特】、【盛天网络】，【世纪华通】、【巨人网给】：AIGC+影视，如 【百纳千成】，【欢瑞世纪】，【光线传爆】、【华策影视】，【上海电 影】、【慈文传媒】、【中文在线】等。 6、建汉关注【万兴科技】、【稿昕款件】、【光云科技】、【力盛体 - 风险提示 宏观经济风验、地缘政治风险、GPT与应用结合表现低于预期、AIGC 行业发展不及预期等。 上海证券 行业动态 目录 1.“大模型小样本"协同进化，实见下游场景快速适配.4 1.1SelfAttention：重程碑式进化，考感全局又聚焦重点.4 1.2上游任务：预训练古模型，权累强大底层通用能力.5 1.3下游任务：知识迁移调试，实现垂直领域激调送配.8 2风险提示.10 图 图1：基子Transformer的编码器框架 图2：基于Transformer的解码器柜架， 图3：“预训练+搬调"机制解决NLP任务碎片化同题... 图4：监督调优（SFT）模型.6 图5：训练奖励模型 图6：通过近端策略优化对奖励模型进行强化学习 图7：大规模预训练模型在多种模态数据的训练和下游任务应用中处子中心地位 图8：基础模型将转换为逆应模型以反映更新的信息、期望的 行为或部署约束 图9：迁移学习的过程， 请务必阅读庭页重要声明3 上海证券 行业动态 人工智能技术正运速发展，可以残累到的明是势是AI正从感知智能快速向以自然语言处理技术（NLP）为核心的认知智能迈进，并进一步推动了产业智能化革命。本文主要从技术底座的角度，对通用预训练语言模型（GPT）的技术流程违行拆解，并从中归纳其能够成为白然语言关理技术领域中的重要模型之一的 原国。 1“大模型+小样本”协同进化，实现下游场景快 速适配 通用预训练语言模型（GenerativePre-trainedTransfomer， 简称GPT）是由OpenAI提出的一款非常强大的预训练语言模型， 该模型的原理是通过利用Transformer转征轴取器，基于大规模语 言模型进行训练的语言模型：目前该模型已经成为自然语言处理领域乃至整个人工智能领减中的基础模型，能够在复杂的白然语言处理任务中取得出色的效果，例如文章生成、机器翻译、提间回等等（截至22年11月）。 1.1SelfAttention：里程碑式进化，考虑全局又聚焦重 点 OpenAl发表的诊文《Attentionisallyouneed》中提出了 种新的注意力机制：Transformer的自注意力机制（Self Attention），Transformer是一种用于序列到序列（Sequence-to- Sequence）任务的神经同络模型，它使用了自注意力机制来计算 输入序列和输出序列之同的关系，根据蓝海星智序，与错环神经 网络（RNN）和象积种经网络（CNN）相比，Transformer模型的 主要优势在于能够捕获全高信急，选行并行计算，可用于处理和 分析大型结构化数据集，适用于白然语处理任务。 将人脑的注意力机制引入自然语言处理中，摆脱海量信息下计算能力的攀肘。随着数据量和参数量感来越多，训练模型需要 记住的“信息”就会变多，模型变得起来越复杂，面计算力依 然是限制神经网络发展的瓶跌。人脑在面对海量信息时，会把注 意力放在主要的信息上，这是大脑的注意力机制。把注意力机利 运用到自然语言处理任务中，提出了Atention机制。从本质上来 理解，我们认为Attention是从大量信息中筛选出少量重要信息， 并聚焦到这些重要信息上，急略不重要的信息，权重越大稳聚焦于对应的值向量上，即权重代表了信息的重要性。 请务必阅读尾页重要声明4 上海证券 行业动态 Transformer模型的核心结构是编码器（encoder）-解码器(decoder），通过多层注意力增强机制提取文本特征。对于Transfomer最初应用的朝译任务而言，其过程为输入文本通过 enooder编码，经过多层注意力增强机制提取特征后，学习并理解语与含义转为河向量，再出deooder解码，基于前文河向量生成文本，完成翻译任务。 图1：基于Transformer的编码器框条图2：基于Transformer的解码器框案 Nx Encoding Inputs 资料来源：(AttentionIsAllYouNeed),黄籽来源：(AttentionIsAllYouNeed) AshishVaswani，NoamShazeer等，上净证牙AshishVaswani,NoamShazeer等，上净证象研 完所完所 Transformer模型推动计算结构从串行走向并行，优化计算 能力和算法的限制。Transformer的主委优点是它可以并行地处理 输入序列中的所有位置，因此在训练和推理时部有着很好的效率。 比外，Transformer没有使用循环结构，因此它不会受长序列的影 响，并且在处理长序列时不会出现梯度消失或螺炸的问题。相比之下，基于循环的模型（例如基于LSTM的模型）可能在失理长序 列时会出现间题，国为它们须退个处理序列中的住置，这会使 它们的训练速度变没。另一方面，Transformer在处理短序列时可 能不如基于据环的模型那么准确，因为它没有婚环结均可以保留先前任置的信息。 白热语言处理正在形成新的技术范式，任务可以分成上下游 进行区分。目前，预训练模型对下游任务的提升非常明显，自然语言处理正在形成新的技术范式，即上游大规模的预训练模型配 合下游任务的知识迁移调试。 1.2上游任务：预训练语言模型，积累强大底层通用能力 “预训练-微调"机制可以解决自然语言处理（NLP）任务碎片 化间题，已经成为NLP额域主流范式。2018年以来，预训练语言 模型（PLM，Pre-trainedLanguageModel）及其"预训练-微调"方 法已成为自然语言处理（NLP）任务的主流范式，该范式先利用大 规模无标注数据通过自监督学习预训练语大模型，得到基础模 请务必阅读尾页重要声明5 上海证券 行业动态 型，再利用下游任务的有标注数据选行有监肾学习微调模型参载，实现下游任务的适配，用一套机制（预训练+微调）解决NLP任务功片化问题，大幅定提高研发效军，标志著NLP进入工业化实施 阶段。 图3：“预训练+微调”机制解决NLP任务弹片化问题 资料来源：潮科技，上海证券研究所 上游任务，即构建预训药语模型，主要分为三个步案；收 集数据并训练监督策容模型、训练奖励模型、通过近端策容优化 (PPO)对该奖励模型进行强化学习，以上构成了GPT的内核，即甚于反情指令的PPO强化学习。 1）第一步，收集数据，用来训练监督策略模型，即SFT模型。 在整个模型训练的步票开始，先独取释本进行小范国训练，并施以奖励或者怎罚，构建监督策略模型，该模型为预训练语言模型的主模型。 图4：监肾调优（SFT）模型 ® 收集实证数据并训练监督方案 个提示测从我们的数据库中作为用本取出 内六岁儿童解释如同爱月 资马提示调的工行人员演示所#的监出行为 有蓝人去了月球 连放据用于完善GPT-3的监SFT 资料来源： (TraininglanguagemodelstofollowInstructlons withhumanfeedback），LongOuyang，JeffWu等，上净证象研究 2）第二步，在数据库中收集比较性的数据，训练奖励模型。通过入人类反馈强化学寸（ReinforcementLearningfromHumanFeedback，即RLHF）机制，由人工训练师进行打分，构 建评价体系，电印训练奖励模型。 请务必阅读庭页重要声明6 上海证券 图5：讨练奖助模型 二$ 收集比较数据并训练奖励模型 行业动态 个提示阅从费们的敢据库中 尚六岁儿童那如何登月 境写提示误的工作人员为验出 0-0:0-0 最致据会摄用于引感实熟模型1000-0 资料来源：(Traininglanguagemodelstofollowinstructions withhumanfeedback），LongOuyang，Je