工业边缘数据管理与分析技术白皮书

工业边缘数据管理与分析技术 白皮书 工业互联网产业联盟 2023年6月 声明 本报告所载的材料和信息，包括但不限于文本、图片、数据、观点、建议，不构成法律建议，也不应替代律师意见。本报告所有材料或内容的知识产权归工业互联网产业联盟所有 （注明是引自其他方的内容除外），并受法律保护。如需转载，需联系本联盟并获得授权许可。未经授权许可，任何人不得将报告的全部或部分内容以发布、转载、汇编、转让、出售等方式使用，不得将报告的全部或部分内容通过网络方式传播，不得在任何公开场合使用报告内相关描述及相关数据图表。违反上述声明者，本联盟将追究其相关法律责任。 工业互联网产业联盟联系电话：010-62305887 邮箱：aii@caict.ac.cn 前言 在《工业大数据分析指南》中，从理论的角度对通用的工业大数据分析方法和分析流程进行归纳总结，对其关键共性进行辨识、抽象和提升。随着以制造业转型升级为首要任务的工业变革的不断深入，工业大 牵头编写单位： 清华大学 联想（北京）有限公司 参与编写单位： 北京航空航天大学中国信息通信研究院 数据成为引领这场变革的主要驱动力，工业互联网逐 渐成为工业大数据的核心应用、重要场景之一。 工业互联网为了解决工业制造业“智能化生产”、“个性化定制”、“网络化协同”、“服务化转型”的需求，需要建立一个基于海量数据采集、汇聚、分析的数据管理与分析的服务体系。在工业互联网的边缘， 即工业边缘，通过大范围、深层次的数据采集，以及 北京天地和兴科技有限公司中国科学院沈阳计算技术研究所 北京中元瑞讯科技有限公司东方电气集团东方电机有限公司 杭州东信北邮信息技术有限公司北京博华信智科技股份有限公司 北京机械工业自动化研究所有限 异构数据的边缘处理，通过构建精准、实时、高效的管理与分析体系，建立面向工业大数据存储、集成、访问、分析、管理的工业互联网平台环境，才能实现工业技术、经验、知识的模型化、标准化、软件化、复用化，才能不断优化研发设计、生产制造、运营管理等资源配置效率，才能形成资源富集、多方参与、 公司 三六零科技有限公司 山东省科学院新一代技术标准化研究院 上海大制科技有限公司深圳得一智科技有限公司 苏芯物联技术（南京）有限公司 合作共赢、协同演进的制造业新生态。 新华三技术有限公司 为此，在工业互联网产业联盟的指导下，工业大数据特设组主持编写了这本《工业边缘数据管理与分析技术》白皮书。本书由工业互联网产业联盟编写，在编写过程中得到了信通院领导的悉心指导和相关参编单位的鼎力支持。 编写组成员（排名不分先后）： 王建民、于辰涛、王晨、魏凯、李铮、王子涛、刘薇、闫君、任磊、李霏、尹作重、孙晓田、董松伟、赵大力、牛建伟、林杨、任继顺、汪洋、陈旭、曹予飞、韩涛、张镇、杨扬、何琪、冯振飞、吕晨阳、李波、徐心平、李志国、刘廉如、尹震宇、于碧辉、佟琨、项楠、尹作重、谭文哲、余笑寒 宜通世纪科技股份有限公司 工业互联网产业联盟公众号 目录 前言1 1.工业边缘数据管理与分析的内涵与意义2 1.1工业边缘数据的定义2 1.2工业边缘数据的特点和挑战3 1.3工业边缘数据管理与分析的难点与挑战4 2.现状及场景分析10 2.1边缘数据管理与分析技术发展现状10 2.1.1边缘数据管理与分析的国内发展现状11 2.1.2边缘数据管理与分析的海外发展现状12 2.2产业应用场景分析14 2.2.1汽车制造行业14 2.2.2石油化工行业20 2.2.3电子制造行业24 3.关键技术研究35 3.1边缘数据管理与分析的平台技术架构35 3.2边缘数据管理与分析技术37 3.2.1边缘数据的灵活接入管理与数据管理37 3.2.2边缘数据的批流融合灵活计算39 3.2.3面向边缘设备数据的组态化应用服务40 3.2.4边缘数据管理与分析的微服务化访问技术43 3.2.5面向边缘数据综合分析的人工智能技术44 3.2.6边缘计算数据流通的协同安全技术46 3.3工业边缘和公有云的数据协同处理48 4．展望51 前言 工业制造业是一个国家的基石。当前，工业制造业全球性产能过剩，市场竞争激烈，制造业正在从大批量和规模化生产，转向小规模、个性化定制的新型模式。为了应对这种挑战，工业互联网通过对人、机、物、系统等的全面连接，构建起覆盖全产业链、全价值链的全新制造和服务体系，为工业乃至产业数字化、网络化、智能化发展提供了实现途径。基于工业互联网的平台应用赋予市场、销售、运营、维护等产品全生命周期服务的全新内容，将促进企业从规模化流水线生产转向规模化定制生产，从生产型制造转向服务型制造，推动服务型制造业与生产型制造业的深刻变革。 边缘计算是工业互联网中推进IT和OT融合交汇的关键点。边缘计算通过在网络边缘侧汇聚网络、计算、存储、应用、智能等五类资源，提高网络服务性能、开放边缘数据、激发新模式和新业态。工业互联网中的边缘计算既解决了工业生产中面临的现实问题，又能够为工业的转型发展提供新能力，是现阶段国内外工业互联网关注的焦点之一。 边缘计算在实际部署应用和数据处理的过程中，存在着数据集碎片化、工业应用研发门槛高、工业软件建设选型困难、设备及平台标准缺失、安全开放测试机制不完善等突出问题。针对上述问题，急需提升工业边缘数据管理与分析技术水平，提升实时数据处理，流式智能分析，现场数据决策，闭环业务反馈的能力，这将有助于工业互联网平台建设，加速形成全新的生产制造管理、优化和服务体系，赋能制造型企业的全面数字化转型。 1.工业边缘数据管理与分析的内涵与意义 1.1工业边缘数据的定义 工业互联网平台是面向工业制造业“智能化生产”、“个性化定制”、“网络化协同”、“服务化转型”的需求，构建基于海量数据采集、汇聚、管理、分析的技术服务体系，支撑制造资源全面连接、弹性供给、高效配置的工业操作系统平台，包括边缘层、平台层（工业PaaS）、应用层 （工业SaaS）三大核心层级。 在工业4.0场景下，工业边缘特指工业互联网边缘，在“端边云网智”五个价值要素中，包含：“端”和“边”两部分要素。 “端”是指智能物联网产品及设备。智能制造的“端”包括生产过程涉及到的数控机床、工业机器人、AGV、标签/RFID、传感器、智能监控、AR/VR装备等。通过智能终端、智能设备实现生产操作自动化，生产信息数字化及存储、人员及环境监测等，尤其借助智能设备3D建模、物联网及大数据等技术来支撑设备的仿真、预警以及预测性维护等智能应用。 “边”是指边缘计算系统。面向工业领域，针对工业现场的设备连接、系统协同、实时数据分析等需求，通过边缘接入、数据采集、时序存储、数据计算、数字孪生、数据可视化等技术手段，为企业提供从现场设备、传感器、控制系统等的边缘接入到智能应用服务的“端到端”解决方案。从数据分析和管理的技术架构层面，边缘服务以现场实时处理为基础，提供边缘网关管理、设备数据接入、数据处理缓存、边缘计算等功能，并支持工业数据汇总、存储、计算、分析、建模与应用服务。边缘计算系统也提供连接云端工业互联网平台的功能，通过统一的云端 通讯协议，完成数据上报、指令反馈、远程控制等多种数据通路功能，并对外部提供大数据、人工智能等相关平台或服务的连接与调用能力，支持数据与接口的多系统集成。 基于上述分析，在本白皮书中，工业边缘数据定义为，在工业制造工业互联网场景下，所涉及到的端设备（如数控机床、工业机器人、AGV、智能标签、传感器、工业穿戴设备、智能监控装备等）及边缘计算系统（如轻边缘设备及轻边缘系统软件）所需要管理与分析的各类数据的总称。 1.2工业边缘数据的特点和挑战 工业边缘数据的特性是由于工业实际现场环境复杂度以及工业设备及传感器分布式部署导致。工业设备在部署时，环境资源受限，局部视野受限，功能受限，扩展困难，从而导致实际现场工业数据难以集中化，进而产生了工业边缘数据的构成与特性。 根据数据来源，工业边缘数据基本由以下两类数据构成： 机器数据 由传感器、仪器仪表、智能终端等设备采集的数据，这些数据在生产设备本身运行过程中，时刻描述运行状态、过程参数、设备工艺机理、绩效指标、作业环境等状态。这些数据通常是以时间序列数据方式来表达，主要通过时间标签（按照时间的顺序变化，即时间序列化）进行处理。 运营系统数据（交互数据） 工业现场人员通过控制终端输入到设备系统中的设计数据、指标标准、规格数据、工艺数据、命令数据等。随着工业互联网推动的以“智能化生产、个性化定制、网络化协同和服务化转型”为代表的智能制造 模式的发展，由人产生的交互数据规模比重将逐步降低，运营系统自行产生的数据占比将越来越大。 与工业大数据相比，工业边缘数据具有以下更为显著的特征： 数据来源多，异构性特征强 工业现场环境下，端设备或端边一体化设备会产生大量的传感器数据、图像数据、视频数据等数据。数据来源丰富、类型多样、结构复杂，数据源之间存在异构性、分布性和自治性，数据类型既包括数字、关系型数据等结构化数据，也包括图像、音频等非结构化数据。 数据时序性强 边缘数据中，端设备尤其是传感器设备，所产生的数据多为时序性数据，时序性数据通常会以亚秒级的频次进行采集，经过处理的时序数据是反应被监控设备的各种状态的最基础也是最核心的信息。但由于采集频次高，受传输设备和现场条件干扰，极高概率出现时序异常、数据丢失的错误。 1.3工业边缘数据管理与分析的难点与挑战 从功能层面分析，工业边缘侧功能主要由以下三方面组成： 数据整理 边缘侧需要对接收到的数据，特别是时序数据进行整理，针对缺失数据进行补齐，针对时序错乱数据进行对准，支撑数据的可靠性与可信性。 局部智能 在边缘侧处理能力有限的条件下，边缘侧需具有局部智能特性，即判断数据并通过局部智能产生的结果，在人机交互过程中提供决策支持，支撑整体系统的数字化和智能化。 边缘侧协同控制 工业现场边缘侧网络带宽有限，传输延迟时间长（秒级），因此需采用边缘侧协同控制方式（毫秒级），降低边云间数据传输量，避免由于数据传输延迟、稳定性差等因素造成的决策误差，支撑边缘侧协同控制。 基于以上分析，本白皮书认为，对于工业边缘数据的管理与分析的要求，与传统意义上的工业大数据应有一定的区分。工业边缘数据的管理与分析是为了更好的应对工业边缘计算的要求，满足工业现场实时性、安全性、鲁棒性的要求，进而提升生产效率和运营效率。 1.3.1工业边缘数据管理与分析的难点 在目前工业实际现场条件下，由于设备、技术、成本等各方面的限制，工业边缘数据管理与分析中，仍存在如下难点： 数据质量问题 边缘数据质量问题主要集中体现在以下两方面： （1）数据缺失。工业边缘数据完备性是工业边缘数据的最基础要求之一。然而，由于边缘数据具有来源多，异构性强的特点，同时会受到传感器安装数量、安装位置、传感器状态、通讯协议实现、测量链状态等问题的影响，导致系统所采集的数据会存在不同程度的缺失。另一方面，目前的生产环境下，一部分交互数据如监测数据来源于人工采集及录入，也会造成工业边缘数据的缺失。数据缺失会导致样本信息减少，不仅增加了分析数据的难度，而且会导致数据挖掘的结果产生误差。 （2）时间对齐。由于边缘数据时序性的特点，传感器采集的设备信息通常是以“特征值+时戳”的方式来表达。在数据后期处理时，利用时戳来进行时间对齐，再通过同一时间点上的边缘数据来进行分析。 工业边缘数据采集过程中，设备性能限制、采样频率及采样精度以及网络传输等问题会导致输出的时戳不准确，甚至有些传感器不输出时戳数据，需在后期处理过程中添加时戳，使得时间对齐问题表现得更为突出。 数据时效性问题 由于边缘数据时序性的特点，工业边缘数据的处理对于时效性有很高的要求，其管理与分析过程需要采用高效率、低资源消耗的计算引擎和存储压缩方法。更进一步的，需要针对时序特征优化计算框架和存储模型数据采集，开发数据存储及提取，数据过滤及压缩，数据传输等一系列方法，以适应工业互联网下边缘设备的受限资源环