2024大型语言模型行业图谱研究报告

研究报告 （2024年第3期总第35期）2024年01月26日 大型语言模型行业图谱1 科创金融研究中心朱雅姝刘碧波 【摘要】行业图谱研究是本中心科技成果转化研究的一项子课 题，目标定位于清晰理解前沿科技成果的技术核心、科创企业的技术竞争力及科研工作者的研究进度，从而助力科技成果转化效率的提升。行业图谱研究将以系列形式展开，选取国家战略重点科技领域的商业应用场景逐一进行，时效性较强。 本报告为行业图谱研究之计算机科学系列中的课题：大型语言模型（含ChatGPT）行业图谱。ChatGPT的成功引发了全球对大型人工智能模型的浓♘兴趣，加速了学术界和商业界的发展。自2017年起，美国在战略层面高度重视人工智能，将其应用于经济、文化和社会福 1感谢资本市场与公司金融研究中心的实习生许喜远同学对本报告的助研工作。许喜远同学是清华大学医学院2022级博士。 祉等众多领域。到2023年，中国也迅速跟进，采用自主研发的技术平台取得领先地位，显示出ChatGPT及相关技术已成为未来国家战略支持的重点。 ChatGPT的发展可分为五个研究阶段，从初期的专家系统演变为基于深度学习和大数据的方法。核心变革之一是GPT-3模型，它凭借大规模参数和创新的“提示语”概念，显著提升了理解和生成自然语言的能力，并在情感分析、机器翻译等多个领域得到应用。技术上，ChatGPT利用基于GPT-3.5的人类反馈强化学习，实现了语言生成能力的显著提升，增强了模型对新指令的适应性，超越了仅依赖于参数量增加的限制。成功的关键因素包括OpenAI的战略转型、技术突破、巨额资金投入、强大算力支持以及顶尖团队，共同构成了ChatGPT的成功基础。ChatGPT以其基于GPT-3.5的先进技术，在准确性、多任务处理和泛化能力上占据市场优势，但面临着时效性不足、高成本和专业领域局限性的挑战。与此同时，国际竞争对手如Google和Meta在技术研发及商业应用上保持领先地位。战略上，ChatGPT通过API和订阅模式获得了市场先机，而Google和百度更专注于B端市场。在中国，国内的通用大型语言模型正处于发展阶段，公司如百度和华为正在追赶国际趋势，但在数据、算力和工程化实施方面面临挑战。 语言大型模型的国际研发现状呈现明显的区域差异。在国际领域，以爱丁堡大学的GeoffreyHinton、布尔诺理工大学的TomasMikolov、斯坦福大学的ChrisManning和QuocLe、以及多伦多大学的IlyaSutskever等人为代表，他们开发的技术位于行业前沿，具有重大的创新性。而在国内，清华大学计算机系的唐杰教授、自然语言处理与社 会人文计算实验室的孙茂松、交互式人工智能课题组的朱小燕教授、智能产业研究院的张亚勤以及复旦大学的邱锡鹏教授团队、哈尔滨工业大学的王晓龙教授等，作为国内在语言大模型研发方面的顶尖技术代表，他们在自然语言处理AI的底层技术研究领域也取得了新的突破。 大型语言模型改变了数字产业的人机交互方式，提升了软件的用户友好性和功能性。它们在降低企业应用构建成本、推动新生态平台发展方面扮演关键角色，并在对话式AI领域显著提升了产品的智能和感知能力。这些模型还促进了多行业的功能升级和生态整合。ChatGPT及类似大型AI模型在全球科技界的崛起，尽管其带来了商业与创新价值，却也引发了众多安全与伦理问题，如对人类角色的替代、数据偏见和隐私泄露等，导致业界和科研人员对AI发展提出质疑和暂停的呼声。为此，采用了如基于人类反馈的强化学习和监管框架等手段减轻这些风险。通用人工智能（ArtificialGeneralIntelligence，AGI）技术如GPT-4不仅提高了生产力和经济增长，还可能改变人类的思维模式和文化传统，推动相关学科发展。通过本报告，我们旨在为ChatGPT技术和产业的发展提供参考和引导，共同推动产业合作，促进行业健康快速发展。 目录 一、ChatGPT的技术研发基础4 （一）自然语言处理的发展历史4 （二）大规模预训练语言模型的技术发展7 二、OpenAIChatGPT技术发展历程8 （一）ChatGPT：生成式AI里程碑8 （二）ChatGPT核心技术：人类反馈强化学习9 （三）OpenAIChatGPT成功要素分析11 三、国内外主要大语言模型技术对比12 （一）ChatGPT的优势12 （二）ChatGPT的劣势14 （三）中国自研通用基础大语言模型16 （四）国内外语言大模型对比21 （五）语言大模型研发技术国内外主要研究机构及代表性成果24 （六）大模型训练：领先公司硬件资源全面对比26 （七）国内外主要大语言模型研发路径与技术对比27 （八）国内外主要大语言模型厂商商业路径对比28 四、大语言模型落地应用对数字产业影响29 （一）通用搜索引擎新布局31 （二）基础办公软件革新32 （三）对话式AI接入“高知、高情商大脑”33 （四）企业服务与垂直领域应用34 （五）ChatGPTPlugins触发生态建设开关35 五、ChatGPT带来的风险与挑战36 六、全球人工智能时代来临：个体能力与社会文化的新格局37 七、专业术语解析39 参考文献41 图表目录 图1-1大规模预训练语言模型发展历程及重要概念7 图2-1生成式AI发展历程与ChatGPT的突出能力9 图2-2ChatGPT能力实现解析10 图2-3资金投入与发展策略为ChatGPT成功带来至关重要的影响11 图3-1通用基础大语言模型的价值与自研卡点17 图3-2中国大语言模型产业价值链19 图3-3国内外主要大语言模型研发路径与技术对比27 图3-4国内外主要大语言模型厂商商业路径对比28 图4-1大语言模型将改变数字产业生态29 图4-2搜索引擎与大语言模型结合情况30 图4-3ChatGPT应用于基础办公软件32 图4-4大语言模型与对话式AI结合33 图4-5大语言模型应用于企业服务及垂直领域34 图4-6ChatGPT通过Plugins构建超级应用生态35 表1-1知识表示和调用方式的演进5 表3-1ChatGPT存在不足的示例15 表3-2大规模文本预训练模型对比表21 表3-3代码预训练模型对比表23 表3-4语言大模型研发技术国内外主要研究机构及代表性成果24 2022年11月30日，OpenAI公司推出了一款全新的对话式通用人工智能工具——ChatGPT（GPT，GenerativePretrainedTransformer）。据报道，仅在几天之内，该工具的注册用户就已经超过了100万人，两个月的活跃用户数更是达到了1亿人。这一惊人的成绩引发了全网的热议，成为历史上增长最快的消费者应用程序之一，引发了人们对于未来哪些工作会因此消失的讨论，并引领了人工智能领域新的技术浪潮。 ChatGPT之所以有这么多活跃用户，是因为它通过学习和理解人类语言，以对话的形式与人类进行交流，其交互方式更加自然和准确，大大改变了人们对于聊天机器人的印象，从“人工智障”到“有趣”的印象转变。此外，ChatGPT还能够根据用户的需求进行机器翻译、文案撰写、代码撰写等工作。 ChatGPT的成功推出引起了大模型构建领域的关注，学术界和企业界纷纷跟进，启动研制自己的大模型。在OpenAI推出ChatGPT之后，微软也快速推出了基于ChatGPT技术的新产品Bing，并计划将ChatGPT集成到Office办公套件中。谷歌也迅速推出了类似的Bard以与之抗衡。此外，国内的百度、阿里巴巴、华为、腾讯、网易、京东等企业也都表示正在进行类ChatGPT模型的研发。 ChatGPT引起了国家战略层面的关注。美国在人工智能 （ArtificialIntelligence，AI）领域有着明确和综合的战略方针，涵盖了经济、国防和社会福祉等多个方面。在美国，多个政府机构已推出关键政策倡议，以加速人工智能的研究与发展。国家科学与技术 委员会（NationalScienceandTechnologyCouncil，NSTC）于2016年推出了《全国人工智能研究与发展战略计划》，为联邦人工智能研发工作奠定了基础。这一努力在2019年得到了扩展，当时白宫发表了行政命令，要求联邦机构优先考虑人工智能投资。从立法方面来看，美国国会于2020年通过了《全国人工智能倡议法案》，以通过 人工智能加强经济和国家安全，此外还有2017年的《人工智能未来 法案》，旨在设立一个有关人工智能的联邦咨询委员会。至2020年，国家科学基金会（NationalScienceFoundation，NSF）也做出了重要的财务承诺，特别是拨款1.4亿美元用于五年内建立五个新的人工智能研究院。然而，随着AI技术的不断发展，不排除将来某些先进模型或算法被纳入为战略资源。这样的决策会受到多种因素影响，包括但不限于该技术的成熟度、其在关键应用（如国防、健康或信息安全）中的表现、以及与国家利益和全球政治环境的相互作用。 我国2023年2月24日，科技部部长王志刚表示：“ChatGPT在自然语言理解、自然语言处理等方面有进步的地方，同时在算法、数据、算力上进行了有效结合。”科技部高新技术司司长陈家昌在回应ChatGPT相关提问时也表示，ChatGPT最近形成了一种现象级的应用，表现出很高的人机交互水平，表现出自然语言的大模型已经具备了面向通用人工智能的一些特征，在众多行业领域有着广泛的应用潜力。这也标志着ChatGPT相关技术有可能会成为国家战略支持的重点。 从技术创新角度，ChatGPT是一个聚焦于对话生成的大语言模型，能够根据用户的文本描述和历史对话产生相应的智能回复。GPT通过学习大量网络已有文本数据（例如Wikipedia、Reddit对话）获得了像人类一样流畅对话的能力，尽管有时生成的回复并不符合人类预期。ChatGPT的成功推出和迅速发展，是人工智能领域技术和应用的一大进步，为未来智能化和人机交互提供了更为广泛和深入的应用空间。同时，ChatGPT所涉及的技术和应用也呈现出多样性和复杂性，需要技术和商业界的共同探索和开发，以实现更好的技术创新和商业价值。 本报告首先回顾了自然语言处理的发展历史以及大规模预训练语言模型的技术发展历程，接着详细分析了ChatGPT的技术发展历程、相关技术、未来技术发展方向，然后探讨了ChatGPT的优势与劣势、应用前景以及带来的风险与挑战，最后对未来自然语言发展的方向提出了见解。 一、ChatGPT的技术研发基础 ChatGPT，即聊天式生成预训练语言模型，是由OpenAI开发的一种基于大规模预训练生成式语言模型的人工智能（ArtificialIntelligence，AI）系统。它借鉴了生成预训练Transformer模型 （GenerativePre-trainedTransformer，GPT）系列模型的技术[1]，旨在理解和生成自然语言，提供与人类相似的对话体验。自然语言处理（NaturalLanguageProcessing，NLP）是计算机科学和人工智能领域的一个关键子领域，主要研究如何让计算机理解和生成人类语言。在过去的几十年中，NLP技术经历了从基于规则的方法到统计学习方法再到深度学习方法的转变。近年来，随着深度学习技术的发展，尤其是预训练语言模型（如GPT系列）的出现，NLP领域取得了显著进展。 （一）自然语言处理的发展历史 自然语言处理是一门涉及计算机科学、人工智能、语言学等多个领域的交叉学科。从其历史发展来看，自然语言处理经历了多次重要的研究范式转变。早期的自然语言处理方法是基于小规模专家知识的，这些方法需要手动设计规则和知识库来解决自然语言歧义性和抽象性等问题，但这种方法难以处理大规模数据和复杂任务。后来，基于机器学习的方法开始兴起，使得计算机可以通过学习样本数据来进行自然语言处理，这种方法在一些特定任务上表现良好，但在处理复杂任务时，需要大量的训练数据和特征工程，难以取得更好的效果。随着深度学习的兴起，基于深度神经网络的自然语言 处理