工业大模型技术应用与发展报告1.0

工业大模型技术应用与发展报告1.0 2023.12 编写单位（排名不分先后） 牵头编写单位：中国信息通信研究院 参与编写单位： 百度在线网络技术（北京）有限公司 羚羊工业互联网股份有限公司创新奇智科技集团股份有限公司智昌科技集团股份有限公司 中国科学院自动化研究所 中工互联北京科技集团有限公司 西门子股份公司 航天云网科技发展有限责任公司威派格智慧水务股份有限公司卡奥斯COSMOPlat 阿里云计算有限公司 腾讯计算机系统有限公司 中科云谷科技有限公司浪潮集团有限公司 中科视语科技有限公司 苏州海赛人工智能有限公司北京通用AI研究院 树根互联股份有限公司 华为技术有限公司 美云智数科技有限公司 模型结构 细分模型 大模型：即预训练的基础模型，在海量数据和计算资源的基础上通过预先训练出来的，具有大参数规模的深度学习模型 狭义多指大语言模型，广义还包括CV、多模态等各种模型类型 人工智能的几个相关概念 人工智能机器学习深度学习 大规模预训练模型 GPT：生成式预训练模型，大模型的一种类型，可生成内容 ChatGPT是GPT的一个典型产品 GPT 生成式AI （AIGC） 技术场景 通用人工智能：AI终极发展目标，具备认知、理解、推理、学习、创造和社会协作等能力 大模型具备学习、生成等能力，但还缺少完备的推理、认知能力 生成式AI：能够生成文本、图片、视频等内容的智能技术， 大模型为其提供了新的技术手段 早期GAN用于内容生成效果有限，如NLP逐词生成 大模型拓展了生成能力，如实现多领域多风格图像/文本生成 目标使命 通用人工智能（AGI） 1.1大模型成为通用AI新范式，引发工业应用变革讨论 大模型+大数据+大算力成为发展主旋律(ChatGPT) AI产品渗透速度全球排名第2引发产业领域应用的热烈讨论与憧憬 产业应用场景成为大模型最佳 “练兵场”——科技日报 AI大模型落地背后，正带来一场智能制造的系统重构——百度 工业大模型将会带来一场新的工业革命，它将来会成为工业领域的基础设施——中工互联 制造业是AI大模型的重要战场，未 来10年最大的机会——阿里 … 干亿参数基础模型 GPT-1:1.17亿GPT-2:15亿GPT-3:1750亿 GPT=4：1.48万亿...... 2年 应用程序商店 热门应用用户破亿所需时间 TB级数据 超3000亿单词830GB代码数据 1000个外包团队标注 1.2年 即时通讯 9个月 短 视 频 E级智能超算总算力 超195PFlops我国最快超算“神威·太湖之光”1.7倍 社 交 2个月 5天 AppStore微信 TikTokChatGPTThreads 工业大模型=工业+大模型 1.2工业大模型与专用小模型成为工业AI发展的两条协同路径 1满足大模型技术基本特征 Transformer为基础框架 在大量通用数据上进行预先训练，以实现良好的通用性 模型参数一般达十亿以上（最大模型参数已达万亿级） 2具备在工业各环节进行应用的能力，或与工业装备软件等融合赋能 工业大模型 Transformer结构 新场景：代码生成、应CAD生成等新应用…用 层泛化性强：单模型面应对多任务，更适合长尾落地 工低成本运维：低成本 程开发+维护 层面 工业专用小模型 传统模型结构 特定任务：点状场景应用效果更好 模型更新快：参数量少，可进行快速迭代 轻量化部署：所需存 储空间和算力更小 1.3大模型初步形成赋能工业的核心方式与产品形态 3类主要赋能方式当前(可用于)工业领域大 模型超30个 ChatGPT 4类模型产品形态 大模型API调用或软件方案 基于通用底座直接赋能行业 基于通用底座进行场景化适配调优或形成外挂插件工具 面向工业或具体任务 针对性开发 •基于ChatGPT直接开展智能客服等应用 星火大模型 YonGPT PLC编程 式说大模型 …成熟工业产品叠加基础模型能力 航天、能源等行 业大模型 制造、矿山等行 业大模型 •倍福将大模型融入TwinCATXAE客户端，实现基于对话辅助编程 EinsteinGPT 外挂插件工具 3D打印GPT … •工业管理软件企业Authentise推出插件，用户可查询最大的增材制造知识库 •浙大开发用于表格处理的TableGPT AlphaFold2 ESMFold 用于私有化部署的一体机 Uni-Mol •科大讯飞推出星火一体机 科学大模型 … 2.1大模型赋能工业领域的适用边界与核心能力 适用问题：大模型并非万金油 大场景 核心能力工业领域应用变革 工业场景具备一定通用性 语言理解 预置型对话→与设备/工业系统的自然交互与推理 涉及关联复杂的智能任务 数据边界对决策效果有直接影响 大语料 工业场景的基础数据/语料/规则 约束充足 问题边界清晰 结果存在于封闭信息环境，不 依赖语料外的信息 生成创作 识别/模拟/预测 多模态 规则式生成→工业代码/图文内容的”涌现式”生成局部建模预测→基于全局信息高效高精度预测优化单一格式工业数据处理→多格式数据综合转换分析 2.2应用总体视图：4类核心模型、15+应用场景，目前处于初步探索阶段 语言大模型 专用大模型 多模态大模型 视觉大模型 部署方式 8% 15% 2% 75% 应用模式 *信通院统计的全球79个大模型工业应用案例 工业各环节围绕语言、专用、多模态和视觉四类大 模型开展探索 当前以大语言模型为主，4类模型应用占比：75%、 15%、8%和2% 通用模型的场景化适配调优是主要部署方式，问答 率先切入 最具变革潜力 率先切入 交互为主要应用模式 2.2（1）大语言模型：主要应用于工业问答交互、内容生成，以提升任务处理效率为主，暂未触及工业核心环节 有望形成具有认知智能的数字员工及超级自动化链路，实现从需求理解到规划、自动化执行及结果交付的全链条能力 工业相关性 高工业代码生成：基于输入文本实现PLC代码生成与辅助编程 24%3% 68% 8%2% 21% 74% 问答交互:应用相对广泛，行业与设备的(半)开放数据是主要语料 设备控制与维保助手：从基于对话实现设备指令识别与维保知识获取 工业管理助手：实现BI数据查询与图表绘制 工业文档外挂与快速检索：实现设备诊断、知 识查询、员工培训、设 运维助手 管理助手 罗克韦尔：将数字孪生与AIGC相结合，实现设备状态以及设备故障原因咨询 C3：通过自然语言对话，以文字+统计图完成业务指标的分析和洞察 低 研发生产设备 计合规检查 通用文档生成：基于输入文本实现设计方案、报告与邮件编写 管理 内容生成问答交互 检索助手中工互联：基于智工大模型实现跨行业、 跨领域和跨岗位工业专用知识检索 内容生成：已能实现通用内容和PLC基本控制逻辑代码的生成 工业代码 西门子：与微软合作，基于GPT开发代码生成工具，可通过NLP输入生成PLC代码 通用内容 BACANCY：基于RPA+GPT实现自动邮件回复等功能 2.2（2）专业任务大模型：围绕研发形成辅助设计、药物研发两个重点方向，进一步增强研发模式的创新能力 面向工业设计、蛋白质结构预测及药物研发创新等场景，扩展创新边界、降低创新成本与时间 工业相关性 需求导向的辅助设计 高智能辅助设计：自动生成大量符合需求的设计，并与既有零组 件及加工能力结合优 药物/材料研发 突破 29% 71% 13% 智能辅助设计:基于图像或文本进行2D-CAD草图构建 10% 77% 化高效研发：整合基因库 /结构库，加速材料发现、药物分子结构发现、 性能预测效率 DeepMind：基于图像或文本进行2D-CAD草图构建，受样本数量+生成规范的限制，仅个别企业开展验证性探索 基于470万CAD草图数据训练 药物材料研发:聚焦蛋白质/药物的性质、结构与匹配能力的预测优化 每个CAD草图对应构建草图生成规范 低 研发设备、生产、管理 格式转换知识发现 Meta：ESMFold模型能够基于序列输入，实现蛋白质结构和序列的预测，模型参数已达150亿，仅2周完成包含罕见物质的6亿+蛋白结构预测 华为：盘古药物分子大模型，能够基于图结构药物分子输入，实现高效的药物分子生成和药物分子定向优化，生成1亿药物分子，新颖性达99.68% 2.2（3）多模态大模型与视觉大模型：在装备智能化和视觉识别领域应用获得初步尝试 结合视频、语义、执行等多类型数据综合分析，有望构建认知能力的装备、系统方案及智能工厂 工业相关性 多模态大模型 设备诊断：多模态大模型 高 +外挂知识库，对异常图像、故障机理等进行融合分析，提升复杂异常识别精度 具身智能复杂环境虚 10% 17% 73% 14% 7% 视觉大模型：在有限数据前提下增强单个AI质检/巡检模型的能力，降低开发门槛与成本 多模态大模型 38% 41% 视觉大模型 拟训练与交互：基于视觉-语言-动作大模型识别当前环境自动生成控制指令，增强机器人复杂任务执行能力 低 缺陷检测/设备巡检：基于视觉大模型替代原有小模型，实现单模型多视觉任务多场景赋能 国家电网：电力大模型每分钟处理100张异常图像、同时识别20类缺陷，识别效率是传统AI算法的10倍 多模态大模型：工业异常检测与机器人领域实现初步应用，通过多类型数据处理强化综合认知水平 设备诊断:基于对话，实现颜色、形状、数量等复杂异常的详细描述 研发设备 视觉大模型 生产管理 具身智能:指令理解+感知环境信息+虚拟化方式训练，自动生成机器人动作规划路径 哈工大：利用语言视觉大模型根据图像进行工业异常检测，并输出高 质量特征描述 斯坦福：基于视觉语言模型，驱动 机器人在虚拟空间生成规划路线 谷歌：RT-2基于视觉-动作-语言大 模型，利用网络图片文字数据训练， 通用识别 问答交互综合应用 在陌生情景执行率达到62% 3技术体系：大模型是工业AI深度学习路径的深化与拓展 工业适配 应用技术 4基础模型 AI应用技术的工业领域迁移 机器视觉、NLP、语音识别 CV、语言、专用大模型... 6 工业场景与应用适配技术 数据可用（小样本）、可解释性、模型效率… 大模型部署 通过场景适配和多种形式部署调用，实现工业大模型落地赋能 专用大模型有望成为赋能行业主力军 算核心理论Transformer… 探索技术 人机&类脑 法5 大模型与知识工程等固有技术融合成为 工业应用探索方向 技数据科学 术3机器学习深度网络 其他学习方式 知识工程 专家系统知识图谱 框架平台 硬件、数据定义大模型能力极限，高质 基础2 支撑 1 工业数据/语料 算力 量工业数据成为大模型从能用到好用的有效途径 通用AI(工业)大模型 3.1算力：工业领域大模型推理速度为需求关键，未来有望向端/边缘侧推理 发展工业大模型推理速度需满足工业应用及峰值QPS等需求 1大模型训练推理算力需求相对可控 大模型每10亿参数（1G模型文件）所需最低显存需求 2工业领域(边端侧)对推理计算速度及满足峰 值QPS等需求较大， 模型精度 训练显存 微调显存 （LORA） 推理显存 float32(全) 14G 5G 4G FP16 7G 2.4G 2G int8 3.5G 1.2G 1G int4 1.8G 0.6G 0.5G 百亿参数大模型，使用1张英伟达A100GPU进行推理，每秒生成的token数大约为60 已有大模型一体机及端侧优化芯片，实现推理加速 3 工业算力智能分配可能成为关键 云端大算力和终端小算力的平衡使算力分配和性能达到最优 二次训练 西工大：基于大模型的多设备协同，采用云端统一控制，需求为单卡4090 联合华为发布星火一体机，提供2.5P算力 爱芯元智-AX650N芯片，可达361FPS 3.2数据：海量高质工业数据/语料库将成为落地部署的关键要素 视觉大模型 预训练（行业级） 基础数据 十万级 某模型A：100W+工业图像 二次训练 任务数据 对数据配比要求较高 微调（场景级