AGI（通用人工智能）专题之二：“文心一言”发布，国内厂商距离复现ChatGPT有多远？

证券研究报告|行业深度研究报告 2023年03月17日 “文心一言”发布，国内厂商距离复现ChatGPT有多远？ 评级及分析师信息 行业评级：推荐行业走势图 10% 4% -2%-7% -13%-19% 2022/032022/062022/092022/122023/03 传媒沪深300 分析师：赵琳邮箱：zhaolin@hx168.com.cnSACNO：S1120520040003 AGI（通用人工智能）专题之二 ►“文心一言”表现一如预期，不必过度悲观 3月16日“文心一言”发布，从官方demo来看，文心一言具备文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成能力，存在超预期亮点，但事前录屏降低了其演示的真实性，也并未对外直接开放，多因素导致公众反馈不佳。我们认为尽管上下文理解、语义逻辑、多轮对话方面尚有欠缺，“文心一言”展现了足够的文案创作能力，为B端降本增效的起始逻辑已经明晰，尽管尚未对公众大范围开放，企业用户已经能够申请内测邀请码，若邀请范围持续扩大，飞轮效应将推进“文心一言”表现改善，且优化空间极大。 ►复现ChatGPT的难点在哪里？AI三要件略逊一筹，但差距并非不可逾越 1）算法上，去开源化极大增加了国内科技企业的复现难度，但学术界已有相对成功复现先例，随着人才流动、时间推移和研究进步，大模型性能很可能逐渐趋同。2）数据上，数据集质量、标注细节处理、用户真实交互是关键，尽管优质的中文标注数据集匮乏，使用英文数据进行预训练并不影响中文输出，科技企业能够参考GPT3的路径，利用海量用户交互提升数据质量。3）算力上，国内头部科技企业多已完成数据中心建设，能够实现算力资源部分自给，此外算力更接近于自由流通的商品，战略押注意愿明确、现金流充沛的国内厂商有希望弥合算力上的差距。 ►工程化和应用分发能力是隐形壁垒，头部厂商优势明显 国产ChatGPT的落地在技术准备之外还需要两项核心要素：工程化与分发能力。1）工程化能力，即能够利用更低的成本和更高效的迭代做出先进的大模型应用，制作更高效、廉价、贴合市场的产品，能够同时容纳亿级用户在线。2）充沛的C端用户及B端应用场景，即更低的分发触达成本、更快 速的产品应用迭代。国内厂商完全具备大DAU场景下AI工程化处理的潜力，且应用分发是国内企业的长项，头部厂商本身已经建起规模及心智壁垒，且商业模式无需再探索，如要落地AGI相关应用，获客成本远低于新进入者。 ►若“文心一言”对外开放，增量成本仍可控 短期我们关注“文心一言”等产品对科技企业财务状况的影响，将增量成本拆分为训练成本、推理成本及数据标注成本 （暂不考虑人力支出及维护费用），测算大模型落地搜索页 面后年均增量成本约为16亿元。但考虑到国产模型参数量及数据集token数量均是未知，且Azure云计算价格与实际成本存在偏差，此外实际落地后各项成本均存在优化可能、具体会计处理方式还存在探讨空间，我们判断10-20亿元为其增量成本的合理范围（暂不考虑人力支出及维护费用），参 请仔细阅读在本报告尾部的重要法律声明 考百度2022年经营现金流净额261.7亿元，对公司正常经营影响可控。 投资建议 GPT4、Office365（Copilot）对公众的震撼只是前期技术突破后的余韵，而非AGI领域想象力的终点，产品的成功会驱动更多学术资源与产业投资的倾斜，人工智能必然成为产业发展长期主线，国产替代具有需求上的紧迫性。依然重点推荐百度（BIDU.US），判断“文心一言”表现符合预期，公司目前仍处于低估区间，尽管技术差距依然存在，短期内研发投入可能上行，我们看好人工智能领域投入对公司业绩及估值的长线提振。同时关注已在视频、营销、阅读等相关细分领域抢跑的重点标的，推荐当虹科技、捷成股份、蓝色光标、风语筑、浙文互联。 风险提示 “文心一言”落地效果不及预期风险；ToB服务推进节奏不及预期风险；成本大幅增长风险；AI产品道德及监管风险。 正文目录 1.“文心一言”答卷未知，但国产替代并不遥远4 1.1.细究算法、数据、算力三要件，略逊一筹但仍有追平可能5 1.2.工程化处理与分发能力是更高的壁垒10 1.3.商业化路径已经明晰，搜索场景鲜明契合12 2.若“文心一言”成功对公众开放，年化增量成本可控15 2.1.训练：前期固定投入较大，莱特定律驱动下成本必然下行15 2.2.推理：与用户数量成正比，成本优化路径明确16 2.3.数据标注：取决于人力价格，成本量级较低17 3.投资建议18 4.风险提示18 图表目录 图1“文心一言”生成图片4 图2“文心一言”生成视频4 图32005年起中国AI论文总数超美国5 图4海外AI机构预测中国高引论文占比将超过美国5 图5类ChatGPT产品的技术发展示意图5 图6ChatGPT的技术突破点在于引入了RLHF（基于人类反馈的强化学习）6 图7主流大模型数据集来源可分为六类8 图8各类数据来源大小8 图9全球前十大科技企业数据中心容量排名9 图10百度昆仑一、二代芯片与英伟达A100参数对比9 图112013年起公司资本开支及经营现金流情况10 图122013年起公司现金及现金等价物充沛（亿元）10 图13AGI产业链及底层支撑示意图10 图14未接入GPT4的Bing仅对搜索结果进行简单整合12 图15NewBing的Chat入口可以对搜索结果进行人性化整合12 图16NewBing能够帮助用户编写代码13 图17NewBing能够帮助用户进行文件阅读13 图18NewBing发布次日Bing下载量猛增758%13 图19百度知识图谱的首要应用场景即为搜索13 图20用户输入“宝可梦朱紫”后出现游戏购买链接14 图21用户输入健美运动员姓名后出现健身补剂广告14 表1Github社区中主流AI框架情况（2022.1）6 表2类ChatGPT模型年均训练成本测算15 表3类ChatGPT应用中期年均推理成本测算16 表4类ChatGPT应用中期年均成本测算17 1.“文心一言”答卷未知，但国产替代并不遥远 3月16日百度AI对话模型“文心一言”发布，我们据发布会信息总结，“文心一言”基于此前ERNIE大模型、PLATO对话模型训练而成，是对百度2019年起便已开始的NLP实践的延续。从技术角度看，除百度已有的知识增强、检索增强、对话增强技术外，“文心一言”引入了有监督的精调、RLHF（基于人类反馈的强化学习）、提示学习等ChatGPT基础技术，但具体参数量、数据量、耗能、对话时效等均未公开。 事前录屏而非实机演示，对外界信心产生负面影响。从现场发布的demo来看，文心一言具备文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成能力，同类问题下中文理解能力强于GPT4，且随输入内容生成音频、视频尚属AI对话模型中的首例，存在超预期亮点，但发布会未能展示模型的编程能力，且事前录屏降低了其演示的真实性，也并未对公众开放，多种因素导致公众反馈不佳。 图1“文心一言”生成图片图2“文心一言”生成视频 资料来源：百度，华西证券研究所资料来源：百度，华西证券研究所 “文心一言”展现了足够的文案创作能力，为B端降本增效的起始逻辑已经明晰。出于商业角度考虑和高昂的端侧微调成本，厂商普遍放弃开源，转而以提供API的方式供下游用户在特定场景下进行推理使用。以ChatGPT为例，OpenAI并未公布其基础模型（GPT3.5、GPT4）技术细节，用户仅能够在自身应用内通过API调用其模型。从第一批用户实际使用来看，“文心一言”已经展示了基础文案工作能力，除此前接入650家企业外，发布当日有6.5万家企业申请测试，签约5家客户，一定程度反映了企业客户的认可程度。 用户交互能够进一步改善模型表现，我们判断这也是公司急于推动模型面世的原因之一。OpenAI自GPT-3便开始对外提供服务，通过开放给公众，GPT3收集来自用户输入内容的多样性数据，从而迭代出效果更好的模型，这就决定了GPT4是站在用户交互飞轮的巨人肩膀上，与文心一言并不在同一起跑线。但是海量用户群也是百度的长处之一，GPT的飞轮效应是可复制的。尽管尚未对公众大范围开放，企业用户已经能够申请内测邀请码，邀请范围若持续扩大，飞轮效应将推进“文心一言”表现改善，且优化空间极大。 我们判断，尽管上下文理解、语义逻辑、多轮对话方面尚有欠缺，“文心一言”在部分问题处理上已经能够对标GPT3水平，但具体表现仍需时间和公众验证。我们依然认为，人工智能必然成为产业发展长期主线，国产替代具有需求上的紧迫性。以“文心一言”发布为契机，我们重点分析国内主流科技企业在复现ChatGPT领域需要克服的差距，判断对国产大模型的发展不必过度悲观。 1.1.细究算法、数据、算力三要件，略逊一筹但仍有追平可能 1.1.1.算法：核心差距在于方法及细节处理 大模型的技术积累已经行至一个质变节点。我们将NLP（自然语言处理）及CV （计算机视觉）技术视作类ChatGPT产品的技术底座，从深度学习的角度分析其发展历程，残差网络及Transformer的出现使得模型的深度和参数量指数级增加，大模型成为可能；大语言模型出现后，大模型的使用方式从预训练的单一任务模型迭代到多模态模型，微调时所需的标注数据量显著减少，从而降低了业务的使用成本。 图5类ChatGPT产品的技术发展示意图 资料来源：公开资料整理，华西证券研究所 国内AI领域积累深厚，历年论文发表及专利申请占优。Elsevier数据显示2012-2021年中国AI相关论文篇数始终排在首位，到2021年增至美国2倍。从论文引用次数进入前10％的篇数来看，中国2019年跃居首位。2021年达到比美国多7成的 7401篇；斯坦福大学数据显示2021年中国提交的人工智能专利申请全球占比超50%。 图32005年起中国AI论文总数超美国图4海外AI机构预测中国高引论文占比将超过美国 资料来源：Wired，华西证券研究所资料来源：AllenInstituteforAI，华西证券研究所 从基本操作系统看，国内已经具备建立AI底层框架的能力。深度学习框架是实现算法的基础架构和工具，可类比为开发过程中必须使用的操作系统（如游戏制作过程中的虚幻引擎）。从技术定位看，AI框架对下调用底层硬件计算资源，能够屏蔽底层差异并提供良好的执行性能,对上支撑AI应用算法模型搭建，提供算法工程化实现的标准环境，是AI体系的关键核心。目前海外AI框架领域已经形成TensorFlow(Google)、PyTorch(Meta)双寡头格局，国内主流AI框架主要有PaddlePaddle（百度）、MindSpore（华为）、MegEngine（旷视）、OneFlow等，从Github指标看，我国主体推出的AI框架中，华为MindSpore、百度飞桨引用次数、点赞数、贡献者数量占优。 表1Github社区中主流AI框架情况（2022.1） 地区 排名 框架 代码提交次数 引用数 点赞数 贡献者 海外 1 TensorFlow 124494 86300 163000 3056 2 PyTorch 43390 14800 53700 2137 3 Theano 28127 2500 9500 352 4 CNTK 16116 4400 17100 201 5 Maneet 11776 6900 19800 868 国内 1 PaddlePaddle 33753 4300 17500 524 2 MindSpore 37308 514 2700 267 3 MegEngine 2282 462 4100 32 4 OneFlow 7621 351 3000 99 5 Jittor 1266 235 2300 31 资料来源：AI框架发展白皮书（2022年），华西证券研究所 但ChatGPT在算法上的突破更多在于思路而非具体理论，是“菜谱”而非“食材”的创新，这成为了复现的难点之一。2