2024大型语言模型行业图谱研究报告

（2024年第3期总第35期） 2024年01月26日 大型语言模型行业图谱1 科创金融研究中心 朱雅姝刘碧波 【摘要】行业图谱研究是本中心科技成果转化研究的一项子课题，目标定位于清晰理解前沿科技成果的技术核心、科创企业的技术竞争力及科研工作者的研究进度，从而助力科技成果转化效率的提升。行业图谱研究将以系列形式展开，选取国家战略重点科技领域的商业应用场景逐一进行，时效性较强。 本报告为行业图谱研究之计算机科学系列中的课题：大型语言模型（含ChatGPT）行业图谱。ChatGPT的成功引发了全球对大型人工智能模型的浓厚兴趣，加速了学术界和商业界的发展。自2017年起，美国在战略层面高度重视人工智能，将其应用于经济、文化和社会福 祉等众多领域。到2023年，中国也迅速跟进，采用自主研发的技术平台取得领先地位，显示出ChatGPT及相关技术已成为未来国家战略支持的重点。 ChatGPT的发展可分为五个研究阶段，从初期的专家系统演变为基于深度学习和大数据的方法。核心变革之一是GPT-3模型，它凭借大规模参数和创新的“提示语”概念，显著提升了理解和生成自然语言的能力，并在情感分析、机器翻译等多个领域得到应用。技术上，ChatGPT利用基于GPT-3.5的人类反馈强化学习，实现了语言生成能力的显著提升，增强了模型对新指令的适应性，超越了仅依赖于参数量增加的限制。成功的关键因素包括OpenAI的战略转型、技术突破、巨额资金投入、强大算力支持以及顶尖团队，共同构成了ChatGPT的成功基础。ChatGPT以其基于GPT-3.5的先进技术，在准确性、多任务处理和泛化能力上占据市场优势，但面临着时效性不足、高成本和专业领域局限性的挑战。与此同时，国际竞争对手如Google和Meta在技术研发及商业应用上保持领先地位。战略上，ChatGPT通过API和订阅模式获得了市场先机，而Google和百度更专注于B端市场。在中国，国内的通用大型语言模型正处于发展阶段，公司如百度和华为正在追赶国际趋势，但在数据、算力和工程化实施方面面临挑战。 语言大型模型的国际研发现状呈现明显的区域差异。在国际领域，以爱丁堡大学的Geoffrey Hinton、布尔诺理工大学的Tomas Mikolov、斯坦福大学的Chris Manning和Quoc Le、以及多伦多大学的IlyaSutskever等人为代表，他们开发的技术位于行业前沿，具有重大的创新性。而在国内，清华大学计算机系的唐杰教授、自然语言处理与社 会人文计算实验室的孙茂松、交互式人工智能课题组的朱小燕教授、智能产业研究院的张亚勤以及复旦大学的邱锡鹏教授团队、哈尔滨工业大学的王晓龙教授等，作为国内在语言大模型研发方面的顶尖技术代表，他们在自然语言处理AI的底层技术研究领域也取得了新的突破。 大型语言模型改变了数字产业的人机交互方式，提升了软件的用户友好性和功能性。它们在降低企业应用构建成本、推动新生态平台发展方面扮演关键角色，并在对话式AI领域显著提升了产品的智能和感知能力。这些模型还促进了多行业的功能升级和生态整合。ChatGPT及类似大型AI模型在全球科技界的崛起，尽管其带来了商业与创新价值，却也引发了众多安全与伦理问题，如对人类角色的替代、数据偏见和隐私泄露等，导致业界和科研人员对AI发展提出质疑和暂停的呼声。为此，采用了如基于人类反馈的强化学习和监管框架等手段减轻这些风险。通用人工智能（Artificial General Intelligence，AGI）技术如GPT-4不仅提高了生产力和经济增长，还可能改变人类的思维模式和文化传统，推动相关学科发展。通过本报告，我们旨在为ChatGPT技术和产业的发展提供参考和引导，共同推动产业合作，促进行业健康快速发展。 目录 一、ChatGPT的技术研发基础............................................................................................................4 （一）自然语言处理的发展历史......................................................................................................4（二）大规模预训练语言模型的技术发展......................................................................................7 二、OpenAI ChatGPT技术发展历程..................................................................................................8 （一）ChatGPT：生成式AI里程碑...................................................................................................8（二）ChatGPT核心技术：人类反馈强化学习...............................................................................9（三）OpenAI ChatGPT成功要素分析...........................................................................................11 三、国内外主要大语言模型技术对比.............................................................................................12 （一）ChatGPT的优势....................................................................................................................12（二）ChatGPT的劣势....................................................................................................................14（三）中国自研通用基础大语言模型...........................................................................................16（四）国内外语言大模型对比.......................................................................................................21（五）语言大模型研发技术国内外主要研究机构及代表性成果...............................................24（六）大模型训练：领先公司硬件资源全面对比.......................................................................26（七）国内外主要大语言模型研发路径与技术对比...................................................................27（八）国内外主要大语言模型厂商商业路径对比.......................................................................28 四、大语言模型落地应用对数字产业影响.....................................................................................29 （一）通用搜索引擎新布局...........................................................................................................31（二）基础办公软件革新...............................................................................................................32（三）对话式AI接入“高知、高情商大脑”..............................................................................33（四）企业服务与垂直领域应用...................................................................................................34（五）ChatGPT Plugins触发生态建设开关....................................................................................35 五、ChatGPT带来的风险与挑战.....................................................................................................36 六、全球人工智能时代来临：个体能力与社会文化的新格局.....................................................37 图表目录 图1-1大规模预训练语言模型发展历程及重要概念.......................................................................7图2-1生成式AI发展历程与ChatGPT的突出能力........................................................................9图2-2 ChatGPT能力实现解析.........................................................................................................10图2-3资金投入与发展策略为ChatGPT成功带来至关重要的影响............................................11图3-1通用基础大语言模型的价值与自研卡点.............................................................................17图3-2中国大语言模型产业价值链.................................................................................................19图3-3国内外主要大语言模型研发路径与技术对比.....................................................................27图3-4国内外主要大语言模型厂商商业路径对比.....................