工业大模型应用报告

· 2024年3月 参与单位 指导单位：中国通信工业协会 撰写单位：腾讯研究院 中国通信工业协会物联网应用分会毕马威企业咨询（中国）有限公司腾讯云智慧行业五部 目录 1.大模型为工业智能化发展带来新机遇1 1.1.大模型开启人工智能应用新时代1 1.2.大模型有望成为驱动工业智能化的引擎3 1.3.大模型应用落地需要深度适配工业场景4 2.大模型和小模型在工业领域将长期并存且分别呈现U型和倒U型分布态势6 2.1.以判别式AI为主的小模型应用呈现倒U型分布6 2.2.以生成式AI为主的大模型应用呈现U型分布7 2.3.大模型与小模型将长期共存并相互融合9 3.工业大模型应用的三种构建模式11 3.1.模式一：预训练工业大模型11 3.2.模式二：微调12 3.3.模式三：检索增强生成13 3.4.三种模式综合应用推动工业大模型落地14 4.大模型应用探索覆盖工业全链条16 4.1.大模型通过优化设计过程提高研发效率16 4.2.大模型拓展生产制造智能化应用的边界19 4.3.大模型基于助手模式提升经营管理水平23 4.4.大模型基于交互能力推动产品和服务智能化25 5.工业大模型的挑战与展望28 5.1.工业大模型应用面临数据质量和安全、可靠性、成本三大挑战28 5.2.工业大模型应用将伴随技术演进持续加速和深化30 1 1.大模型为工业智能化发展带来新机遇 1.1.大模型开启人工智能应用新时代 大模型引领人工智能技术创新和应用。自1956年达特茅斯会议（DartmouthConference）提出人工智能的概念以来，人工智能技术经历了多个发展高峰和低谷。在这一长期的发展过程中，人工智能技术不断演进，逐步朝着更高的智能水平和适应性发展。2022年11月30日，OpenAI发布了ChatGPT，引发了行业热潮，直至今日，业界普遍认为，大模型时代已经到来，也象征着人工智能开启了迈向通用人工智能 （AGI,ArtificialGeneralIntelligence）的新阶段。在大模型出现之前，人工智能通常需要针对特定的任务和场景设计专门的算法，这种方法虽然在特定领域有效，但人们对“智能”的期望是能够适应多种任务和场景的智能系统，单一任务的人工智能系统已经无法满足这些更广泛的需求。大模型能够跨越传统人工智能的局限性，理解和推理的能力有了极大的飞跃，同时也提高了复用的效率，为人工智能技术在更多领域的应用提供了坚实的基础，推动人类社会迈向通用人工智能（AGI）的新阶段。 通用性和复用性是大模型的关键价值。2017年，GoogleBrain（谷歌大脑）团队在其论文《AttentionIsAllYouNeed》中创造性地提出Transformer架构，凭借注意力机制，极大地改善了机器学习模型处理序列数据的能力，尤其是在自然语言处理（NLP）领域。Transformer架构的出现，为后续的大模型如ChatGPT等奠定了技术基础。ChatGPT、Bert等大模型通过海量数据和庞大的计算资源支持，使得模型具备了强大的通用性和复用性。大模型可以被广泛应用于自然语言处理、计算机视觉、语音识别等领域的各种任务，能够为各种应用和开发人员提供共享的基础架构，并进一步通过微调、零样本学习等方式，直接在一系列下游任务上使用，取得一定的性能表现，支持不同行业、不同场景的应用构建。 大模型展现出三大基础特征。目前大模型并没有明确的定义，狭义上指大语言模 型，广义上则指包含了语言、声音、图像等多模态大模型。如李飞飞等人工智能学者所指出，这些模型也可以被称为基础模型（FoundationModel）。我们认为，大模型主要具备以下三大特征： 参数规模大：大模型的参数规模远大于传统深度学习模型。大模型发展呈现“规模定律”（ScalingLaw）特征，即：模型的性能与模型的规模、数据集大小和训练用的计算量之间存在幂律关系，通俗而言就是“大力出奇迹”。不过“大”并没有一个绝对的标准，而是一个相对概念。传统模型参数量通常在数万至数亿之间，大模型的参数量则至少在亿级以上，并已发展到过万亿级的规模。如OpenAI的GPT-1到GPT-3，参数量从1.1亿大幅拉升到1750亿，GPT-4非官方估计约达1.8万亿。 泛化能力强：大模型能够有效处理多种未见过的数据或新任务。基于注意力机制 （Attention），通过在大规模、多样化的无标注数据集上进行预训练，大模型能够学习掌握丰富的通用知识和方法，从而在广泛的场景和任务中使用，例如文本生成、自然语言理解、翻译、数学推导、逻辑推理和多轮对话等。大模型不需要、或者仅需少量特定任务的数据样本，即可显著提高在新任务上的表现能力。如OpenAI曾用GPT-4参加了多种人类基准考试，结果显示其在多项考试中成绩都超过了大部分人类（80%以上），包括法学、经济学、历史、数学、阅读和写作等。 支持多模态：大模型可以实现多种模态数据的高效处理。传统深度学习模型大多只能处理单一数据类型（文本、语音或图像），大模型则可以通过扩展编/解码器、交叉注意力（Cross-Attention）、迁移学习（Transferlearning）等方式，实现跨模态数据的关联理解、检索和生成。多模态大模型（LMMs，LargeMultimodalModels）能够提供更加全面的认知能力和丰富的交互体验，拓宽AI处理复杂任务的应用范围，成为业 界探索迈向通用人工智能的重要路径之一。典型如OpenAI的Sora模型推出，掀起了全 球多模态大模型的发展新热潮。 1.2.大模型有望成为驱动工业智能化的引擎 人工智能推动工业智能化发展进入新阶段。工业发展是一个逐步演进的过程，经历了机械化、电气化、自动化、信息化的阶段后，当前正处于从数字化向智能化迈进的阶段。每个阶段都是工业与各类创新技术的融合，对传统制造业进行升级和改造，提高生产效率、降低成本、提升产品质量。当前阶段，工业领域积累了大量的数据、基础能力和场景需求，为工业场景与人工智能技术的融合提供了基础条件。而人工智能逐渐展现出类似人的理解和分析能力，这些能力与工业场景的融合，将智能化带入到工业生产、运营、管理等领域，不断提升感知、认知和决策等多个环节，有望推动工业发展走向“自适应、自决策、自执行”的智能化阶段。 大模型为工业智能化提供新动力。尽管人工智能在智能制造、工业4.0、工业互联网等方面有所应用，但这些应用往往受限于特定任务，难以实现跨领域、跨场景的融合创新。过去，人工智能在工业的应用主要聚焦于如质量检测、预测性维护等单一功能，这形成了人工智能应用上“一场景一训练一模型”的局限，尚未形成大规模的应用。然而，大模型的崛起有望带来“基础模型+各类应用”的新范式。大模型凭借其卓越的理解能力、生成能力和泛化能力，能够深度洞察工业领域的复杂问题，不仅可以理解并处理海量的数据，还能从中挖掘出隐藏在数据背后的规律和趋势。此外，区别于传统的人工智能模型只能根据已有数据进行预测和推断，大模型则能够生成新的知识和见解。最后，大模型的泛化能力能够在更广泛的工业场景发挥作用。 大模型为工业智能化拓展新空间。人工智能在工业领域的应用，尽管已经取得了一些显著的成果，但整体来看，其应用的普及率仍然处于相对较低的水平。据凯捷 （Capgemini）统计数据显示，即便是欧洲顶级的制造企业，其AI应用的普及率也仅超 过30%，而日本和美国制造企业的AI应用率分别达到了30%和28%。相较于这些发达国家，中国制造企业AI普及率尚不足11%，显示出这一领域巨大的发展潜力和广阔的空间。相较于以往的小模型，大模型有望挖掘工业领域人工智能应用的新场景，提升人工智能应用的普及率。例如在研发设计领域，大模型能够深度挖掘和分析海量数据，为产品设计提供更为精准和创新的思路。在经营管理领域，大模型能够实现对生产流程、供应链管理等各个环节的监控和智能优化，从而提升企业的运营效率和市场竞争力。 1.3.大模型应用落地需要深度适配工业场景 大模型的优势在于其强大的泛化能力，可以在不同的领域和任务上进行迁移学习，而无需重新训练。但无法充分捕捉到某个行业或领域的特征和规律，也无法满足某些特定的应用场景和需求，在真正融入行业的过程中，需要适配不同的工业场景，其核心就是要解决以下三个问题。 不懂行业：大模型在处理特定行业任务时，往往表现出对行业知识、术语、规则等的不理解，导致生成的解决方案与实际需求存在偏差，这主要是由于大模型在训练过程中缺乏特定行业的数据和知识，难以覆盖各个行业的专业细节。这种行业知识的匮乏使得大模型在应对工艺流程优化、设备故障预测等专业问题时有所缺陷，难以提供精确、可靠的解决方案，无法满足工业现场的个性化要求。 不熟企业：当大模型接入企业系统时，往往难以全面理解企业的业务流程、数据结构和运营模式，导致生成的解决方案与企业实际需求不匹配。每个企业都有其独特的运营环境和业务需求，而大模型往往缺乏对企业特定环境的深入理解。此外，企业内部的数据孤岛和碎片化的信息系统也增加了大模型理解企业环境的难度。这种不熟 企业的问题使得大模型难以真正融入企业的运营流程，无法平滑地嵌入到现有的各类 系统中。 存在幻觉：在某些情况下，大模型会产生与实际情况不符的错误输出，即“幻觉”现象。这主要是由于模型在训练过程中受到了噪声数据、偏差样本等因素的影响，或者由于模型的复杂性和数据维度过高导致过拟合。这种幻觉现象对工业领域的影响是全方位的，无论是生产过程中的质量控制、设备维护，还是供应链管理、市场预测等环节，错误的输出都可能导致严重的决策失误和经济损失。特别是在对安全性、可靠性要求极高的工业场景中，如航空航天、核能等领域，幻觉现象可能带来灾难性的后果。 2.大模型和小模型在工业领域将长期并存且分别呈现U型和倒U型分布态势 从工业智能化的发展历程可以看出，在大模型出现之前，人工智能技术在工业领域已有较多应用。在前期阶段，工业人工智能的应用主要是以专用的小模型为主，而大模型开启了工业智能化的新阶段。结合两者不同的技术特点和应用能力，目前在工业领域形成了不同的分布态势。 图表1生成式AI（大模型）和判别式AI（小模型）在工业主要领域分布情况1 2.1.以判别式AI为主的小模型应用呈现倒U型分布 根据中国信通院2对507个AI小模型应用案例的统计分析，这些应用主要集中在生产制造领域，占比高达57%，而在研发设计和经营管理领域的应用则相对较少。这种分布呈现出明显的倒U型。 小模型的核心特点是学习输入与输出之间的关系。小模型通过学习数据中的条件概率分布，即一个样本归属于特定类别的概率，再对新的场景进行判断、分析和预测。它的优点是通常比大模型训练速度更快，而且可以产生更准确的预测结果，尤其适用 1507个小模型应用数据引用自中国信息通信研究院《工业智能白皮书（2022）》，99个大模型应用数据由本文编写组收集、整理、统计分析所得 2中国信息通信研究院《工业智能白皮书（2022）》 于对特定任务进行快速优化和部署的场景。以工业质检领域为例，小模型能够从海量 的工业产品图片数据中，学习到产品的外观特征、质量标准和缺陷模式等关键信息。当面对新的样本时，小模型能够迅速判断样本是否合格，从而实现对产品质量的快速检测。同样在设备预测性维护方面，小模型通过对设备运行数据的分析，能够学习到设备正常运行的模式和潜在的故障特征。一旦监测到异常情况，小模型能够及时发出预警，提醒工作人员进行检修或维护。 小模型的能力更适合工业生产制造领域。首先，小模型能够基于有限数据支撑精准的判别和决策，而生产过程需要针对不同场景进行精准的分析和决策，这两者间的契合使得小模型在生产制造领域具有独特的优势。其次，生产制造过程对准确性和稳定性有着极高的要求，任何微小的误差都可能导致产品质量下降或生产线停工。小模型在训练过程中，能够针对具体场景进行精细化的调整和优化，从而确保模型的准确性和稳定性，这使得小模型在生产制造领域的应用更为可靠和有