中国人工智能系列白皮书——大模型技术2023版

——大模型技术（2023版） 中国人工智能学会 二○二三年九月 《中国人工智能系列白皮书》编委会 主任：戴琼海执行主任：王国胤副主任：陈杰何友刘成林刘宏孙富春王恩东王文博赵春江周志华委员：班晓娟曹鹏陈纯陈松灿邓伟文董振江杜军平付宜利古天龙桂卫华何清胡国平黄河燕季向阳贾英民焦李成李斌刘民刘庆峰刘增良鲁华祥马华东苗夺谦潘纲朴松昊钱锋乔俊飞孙长银孙茂松陶建华王卫宁王熙照王轩王蕴红吾守尔·斯拉木吴晓蓓杨放春于剑岳东张小川张学工张毅章毅周国栋周鸿祎周建设周杰祝烈煌庄越挺 《中国人工智能系列白皮书----大模型技术》编写组 陶建华吴飞黄民烈文继荣王海峰刘知远刘静杨小康聂帅 目录 第1章大模型技术概述..........................................................................5 1.1大模型技术的发展历程.............................................................51.2大模型技术的生态发展.............................................................91.3大模型技术的风险与挑战.......................................................11第2章语言大模型技术........................................................................132.1 Transformer架构........................................................................132.2语言大模型架构.......................................................................172.2.1掩码语言建模....................................................................172.2.2自回归语言建模................................................................182.2.3序列到序列建模................................................................182.3语言大模型关键技术...............................................................192.3.1语言大模型的预训练........................................................192.3.2语言大模型的适配微调....................................................212.3.3语言大模型的提示学习....................................................242.3.4语言大模型的知识增强....................................................262.4.5语言大模型的工具学习....................................................27第3章多模态大模型技术....................................................................293.1多模态大模型的技术体系.......................................................293.1.1面向理解任务的多模态大模型........................................293.1.2面向生成任务的多模态大模型........................................313.1.3兼顾理解和生成任务的多模态大模型............................333.1.4知识增强的多模态大模型................................................353.2多模态大模型的关键技术.......................................................363.2.1多模态大模型的网络结构设计........................................36 33.2.2多模态大模型的自监督学习优化....................................373.2.3多模态大模型的下游任务微调适配................................39第4章大模型技术生态........................................................................414.1典型大模型平台.......................................................................414.2典型开源大模型.......................................................................444.2.1典型开源语言大模型........................................................444.2.2典型开源多模态大模型....................................................534.3典型开源框架与工具...............................................................574.4大模型的训练数据....................................................................604.4.1大模型的训练数据处理流程和特点................................604.4.2大模型常用的公开数据集................................................63第5章大模型的开发训练与推理部署................................................665.1大模型开发与训练...................................................................665.2大模型推理部署.......................................................................685.2.1大模型压缩........................................................................695.2.2大模型推理与服务部署....................................................705.3软硬件适配与协同优化...........................................................715.3.1大模型的软硬件适配........................................................725.3.2大模型的软硬件协同优化................................................72第6章大模型应用................................................................................746.1信息检索...................................................................................746.2新闻媒体...................................................................................756.3智慧城市...................................................................................766.4生物科技...................................................................................766.5智慧办公...................................................................................776.6影视制作...................................................................................786.7智能教育...................................................................................78 6.8智慧金融...................................................................................796.9智慧医疗...................................................................................796.10智慧工厂.................................................................................796.11生活服务..................................................................................806.12智能机器人.............................................................................806.13其他应用.................................................................................80第7章大模型的安全性........................................................................827.1大模型安全风险引发全球广泛关注.......................................827.2大模型安全治理的政策法规和标准规范...............................837.3大模型安全风险的具体表现...................................................857.3.1大模型自身的安全风险...................