5G机器视觉总体技术要求（2024）

5G应用产业方阵联盟标准 5GAIA017-2024 5G机器视觉总体技术要求 Generalspecificationfor5Gmachinevision 2024-05-10发布2024-05-10实施 5G应用产业方阵发布 版权声明 本文件所载的材料和信息，包括但不限于文本、图片、数据、观点、建议，不构成法律建议，也不应替代律师意见。本文件所有材料或内容的知识产权归5G应用产业方阵所有（注明是引自其他地方的内容除外），并受法律保护。如需转载，需联系本方阵并获得授权许可，任何单位和个人未经许可，不得进行技术文件的纸质和电子等任何形式的复制、印刷、出版、翻译、传播、发行、合订和宣贯等，也不得未经允许采用其具体内容编制方阵以外各类标准和技术文件。如有上述需求请与方阵秘书处联系。违反上述声明者，本方阵将追究其相关法律责任。 邮箱：5gaia@5gaia.org电话：010-62300464 目次 1范围1 2术语、定义和缩略语1 2.1缩略语1 35G机器视觉概述1 45G机器视觉类型1 4.15G目标识别1 4.25G定位引导1 4.35G测量标定2 4.45G质量检测2 55G机器视觉系统架构2 5.1端边强协同2 5.2端边弱协同2 5.3端云强协同3 5.4端云弱协同4 5.5端边云协同4 65G机器视觉关键业务流程5 6.1终端注册与业务配置5 6.2图像采集5 6.3图像压缩或预处理后上传5 6.4网络感知与调度6 6.5算法推理6 6.6控制决策6 6.7工控执行6 6.8算法训练6 75G机器视觉内部接口6 前言 本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本文件由5G应用产业方阵提出并归口。 本文件起草单位：中国信息通信研究院、华为技术有限公司、浙江大华技术股份有限公司、中国大恒（集团）有限公司北京图像视觉技术分公司、杭州海康机器人技术有限公司、苏州振畅智能科技有限公司、中移（上海）信息通信科技有限公司、北京微视新纪元科技有限公司、杭州汇萃智能科技有限公司、灵动科技（北京）有限公司、上海移远通信技术股份有限公司、浙江利尔达物联网技术有限公司。 本文件主要起草人：杜斌、张天静、李宁、黄蔚蓝、符哲蔚、林峰、宋伟铭、郭勇军、王川艳、杨文浩、陈豫蓉、周威、周子涔、邬知衡、谭凯、季建华、张硕、应义星、沈伟峰。 引言 为适应信息通信业发展对标准文件的需求，由5G应用产业方阵组织制定“5G应用产业方阵联盟标准”，推荐有关方面采用。有关对本文件的建议和意见，向5G应用产业方阵反映。 5G机器视觉总体技术要求 1范围 本文件规定了5G机器视觉定义、分类、系统架构、关键业务流程和系统内部接口。本文件适用于工业制造、安防、医疗、交通等领域利用5G实现机器视觉的系统设计和规 划。 2术语、定义和缩略语 2.1缩略语 下列缩略语适用于本文件。 5G:第五代移动通信技术（5thGenerationMobileCommunicationTechnology）MEC:移动边缘计算（MobileEdgeComputing） UPF:用户平面功能（UserPlaneFunction） 35G机器视觉概述 5G机器视觉是指通过5G网络将现场由光学装置和非接触传感器自动采集的真实物体图像传送到云端计算及处理平台，并根据平台的分析结果，将控制信息传递到控制系统实现反向控制。 5G机器视觉系统一般由图像感知系统、图像处理系统以及控制执行系统组成，具体可分为感知、推理、控制、执行、训练5部分组成 图像感知系统：将被摄取目标转换成图像信号，传送给专用的图像处理系统，实现现场图像或视频采集及数据传输功能，部分系统具备对采集数据的图像预处理功能。 图像处理系统：根据确定识别模型，对感知的图像进行推理预测。图像处理算法是机器视觉系统的核心，反映出对不同被测对象图像特征检测的数学模型。根据应用目的的不同，可包括图像滤波、边缘检测、特征提取、图像匹配和深度识别等算法。一般由推理和训练单元组成，两个单元可合设也可分别部署。 控制执行系统：依据图像处理的结果，生成相关控制指令，控制不同执行单元完成相关动作。一般由控制和执行单元组成，两个单元可合设也可分别部署。 45G机器视觉类型 4.15G目标识别 5G目标识别指通过5G网络将采集的图片或视频上传至云端计算及处理平台，经过云端处理实现对目标对象（如人脸、设备标签等）识别，根据识别结果选择性的开展后续处理流程。 4.25G定位引导 5G定位引导指通过5G网络将采集的图片或视频上传至云端计算及处理平台，经过云端处理获取特定对象的位置信息，实现引导机械手臂进行抓取/放置、辅助无人车辆对障碍物识别等功能。 4.35G测量标定 5G测量标定指通过5G网络将采集的图片或视频上传至云端计算及处理平台，经过云端处理把获取的图像像素信息转换为温度或几何尺寸。 4.45G质量检测 5G质量检测指通过5G网络将采集的图片或视频上传至云端计算及处理平台，经过云端处理识别产品缺陷，提升产品质量和检测效率。 55G机器视觉系统架构 5.1端边强协同 图1端边强协同系统架构 满足大带宽、低时延、高可靠的通信需求和广连接的需求，感知单元部署在端侧，推理、控制和训练单元部署在边缘测，执行单元部署在端侧或应用平台上，系统功能要求为： 感知单元：具备5G通信能力，可通过内置5G芯片/模组，或者外接5G工业网关或传输设备实现。同时具备对采集数据的图像进行预处理功能， 执行单元：具备5G通信能力，可通过内置5G芯片/模组，外接5G工业网关或传输设备实现。 5.2端边弱协同 图2端边弱协同系统架构 满足超大带宽、低时延、高可靠的通信需求和广连接的需求。由于5G目前不能满足超大带宽传输需求，进而将感知和推理单元部署在端侧，控制和训练单元部署在边缘测，执行单元部署在端侧或应用平台上，系统功能要求为： 感知和推理单元：具备5G通信能力，可通过内置5G芯片/模组，或者外接5G工业网关或传输设备实现。 执行单元：具备5G通信能力，可通过内置5G芯片/模组，外接5G工业网关或传输设备实现。 5.3端云强协同 图3端云强协同系统架构 满足大带宽、高可靠的通信需求和广连接的需求，感知单元部署在端侧，推理、控制和训练单元部署在远端，执行单元部署在端侧或应用平台上，其中，控制和执行单元也可合设，系统功能要求为： 感知单元：具备5G通信能力，可通过内置5G芯片/模组，或者外接5G工业网关或传输设备实现。同时具备对采集数据的图像进行预处理功能 执行单元：具备5G通信能力，可通过内置5G芯片/模组，外接5G工业网关或传输设备实现。 5.4端云弱协同 图4端云弱协同系统架构 满足超大带宽、高可靠的通信需求和广连接的需求。由于5G目前不能满足超大带宽传输需求，进而将感知和推理单元部署在端侧，控制和训练单元部署在远端，执行单元部署在端侧或应用平台上，系统各单元功能要求为： 感知和推理单元：具备5G通信能力，可通过内置5G芯片/模组，或者外接5G工业网关或传输设备实现。 5.5端边云协同 图5端边云协同系统架构 满足大带宽、低时延、高可靠、跨省市连接的通信需求，感知单元部署在端侧，推理和控制单元部署在边缘测，训练单元部署在远端，执行单元部署在端侧或应用平台上，系统功能要求为： 感知单元：具备5G通信能力，可通过内置5G芯片/模组，或者外接5G工业网关或传输设备实现。同时具备对采集数据的图像进行预处理功能， 执行单元：具备5G通信能力，可通过内置5G芯片/模组，外接5G工业网关或传输设备实现。 65G机器视觉关键业务流程 6.1终端注册与业务配置 图像采集可由工业相机或摄像头完成，使用工业相机时，需外接5G工业网关；使用摄像头时，需设备内置5G模组或外接5G工业网关。做为5G服务机器视觉的图像采集终端设备，5G工业网关或内置5G模组的摄像头需由管理平台统一控制，终端设备上线后，需要主动连接到管理平台进行注册，管理平台负责终端设备后续的生命周期管理流程，管理平台部署于5GMEC或中心云。 终端设备注册后，管理平台根据终端类型和业务属性，向终端下发需要完成任务的业务配置，例如采集规格、图像压缩处理规格、拍摄节拍等，收到业务配置后，终端设备可以根据配置要求开展工作。 6.2图像采集 工业相机根据采集规格、拍摄节拍等配置要求，周期采集目标对象信息（例如三通道RGB点阵或单通道灰度点阵）。使用5G工业网关时，通过线缆方式将采集到的原始图像数据传输给5G工业网关。 6.3图像压缩或预处理后上传 当进行图像上传流程时，由于原始图像数据量较大，上传前需对原始图像进行预处理，根据业务配置选择预处理方式，将预处理后的图像数据或结构化数据进行上传。使用5G工业网关时，在5G工业网关内进行图像预处理；使用内置5G模组的摄像头时，在摄像头内进行图像预处理。 上传预处理后的图像数据时，需要进行图像恢复，将图像进行解压缩处理，图像恢复部署于5GMEC或中心云。 6.4网络感知与调度 在5G传输过程中，5G各网元协同可以感知当前的无线信道质量状态（RSRP、RSRQ、SINR等信息），小区内的拥塞程度，流量载荷等信息，信息汇总到管理平台，通过决策，下发调度指令给终端设备，调整上行数据传输模式，避免数据丢失或网络拥塞，管理平台部署于5GMEC或中心云。 6.5算法推理 通过机器视觉推理算法对接收到的图像数据或结构化数据进行推理，获取原始图像内的信息，发送给控制决策单元或数据管理单元。算法推理部署于终端设备、5GMEC或中心云。 6.6控制决策 依据算法推理结果和预先设置的策略，生产控制信令，下发给工控执行单元。控制决策部署于5GMEC或中心云。 6.7工控执行 按照控制策略单元下发的控制指令，进行相关工作，工控执行单元部署于终端侧。 6.8算法训练 在进行算法推理之前，需要利用大量被测目标图像信息对推理算法进行训练，优化完善推理算法，并将推理算法下发至算法推理单元。算法训练部署于5GMEC或中心云。可以离线进行或在线进行。 75G机器视觉内部接口 面向各个关键业务处理环节，需要有对应的交互接口做衔接，下表列举5G机器视觉端到端的技术流程需要的主要交互接口。 表1机器视觉端到端流程主要交互接口 序号 接口名称 对应业务 交互对象 接口功能 1 采集接口 图像采集 工业相机/摄像头与5G工业网关 传输采集到的原始图像数据到5G工业网关 2 控制接口 终端注册与配置 终端设备与5GMEC/中心云 将终端设备注册信息上传至管理平台，同时下发终端设备配置信息 3 网络接口 网络感知与调度 终端设备与5GMEC/中心云 将调度指令下发至终端设备 4 图传接口 图像预处理 终端设备与5GMEC/中心云 将处理后的图像数据或结构化数据进行上传 序号 接口名称 对应业务 交互对象 接口功能 5 算法接口 算法推理 终端设备与5GMEC/中心云5GMEC与中心云 上传目标图像信息，下发训练好的推理算法 6 执行接口 工控执行 终端设备与5GMEC/中心云 将控制指令下发终端设备令