2024高精度工业视觉检测技术与应用白皮书

高精度工业视觉检测技术与应用白皮书 （2024年） 发布单位：中移智库 牵头编制单位：中国移动通信研究院 1 前言 本白皮书在梳理工业视觉检测发展现状的基础上，提出了高精度柔性工业视觉检测技术体系，并从云边端协同、柔性数采、检测算法及交互协同等方面分别进行了阐述，最后介绍了基于高精度柔性工业视觉检测的典型应用实践，并对高精度工业视觉检测的发展趋势进行了展望。 本白皮书由中国移动通信有限公司研究院牵头，中国移动通信集团江苏有限公司、中国移动紫金（江苏）创新研究院有限公司、中国移动通信集团浙江有限公司金华分公司、今飞控股集团有限公司联合编写。 工业视觉质检向更高精度、更快速度发展以及向更多场景落地，涉及光学、算法、硬件、软件、通信等多项技术的融合与创新，需要产业链上中下游的密切协同。在此，中国移动希望发挥自身在技术研发和产业引领方面的优势，携手业界共享技术创新成果，共同促进产业合作共赢，推动工业视觉检测快速发展，为新型工业化、新质生产力提供强大发展动能。 目录 1.背景及意义2 2.高精度工业视觉检测发展概述4 2.1工业视觉检测发展现状4 2.2工业视觉检测面临的挑战5 3.高精度工业视觉检测关键技术7 3.1云边端一体化协同8 3.2柔性化标准数采技术9 3.3高精度视觉检测算法12 3.4人机交互与多机协同15 4.高精度工业视觉检测应用案例17 4.1汽车行业轮毂表面缺陷检测17 4.2五金行业保温杯表面缺陷质检20 4.3服装行业成衣质检与裁片测量23 5.展望与倡议26 缩略语列表27 参考文献28 1.背景及意义 工业发展历经了蒸汽时代、电器时代、信息化时代，直至发展到当下的智能时代。这一过程中，工业制造中的构件也经历了从粗制到精制的转变。在如今智能制造潮流下，随着人工智能以及自动化和数控等技术驱动的制造工艺的发展，使得精密制造的能力得到了前所未有的提升。与此同时，我国汽车、航空航天、先进轨道交通等行业发展势头好，此类行业对质量的需求非常严苛，视觉检测技术在工业制造中应用的愈加普遍、而且重要。 精密制造中工业构件的加工方式多样，涉及钻削、车削、铣削、磨削和特种加工等，这些工艺虽然成熟，但在处理复杂或难以加工的材料时，仍然面临着挑战，如极易产生划痕、撕裂等加工损伤，不仅影响构件的外观美观性，严重情况下甚至可影响构件的服役性能和可靠性。加之各领域向高端化发展，损伤容限要求苛刻，对构件的缺陷检测也提出了更高的要求。如汽车轮毂、变速箱，飞机发动机叶片等，不但工艺复杂，而且几何形状繁复，具有镂空、遮挡、多面、交叠等形态，传统的检测手段无法满足当前的精度和效率需求，需要更精准的工业视觉检测技术来确保无遗漏的识别潜在缺陷。 2023年3月，工业和信息化部、国家发展改革委等七部门联合印发《智能检测装备产业发展行动计划(2023-2025年)》，系统推进智能检测装备基础创新、高端供给、应用推广、生态发展。文件提出，到2025年，智能检测技术基本满足用户领域制造工艺需求，核心零部件、专用软件和整机装备供给能力显著提升，重点领域智能检测装备示范带动和规模应用成效明显，基本满足智能制造发展需求。北京等省市出台的《智能检测装备发展行动方案》中也纷纷指出要大力发展智能检测设备，全面提升智能检测装备供给能力和水平，推动智能制造深入实施。 视觉检测作为智能制造的核心技术，是“工业六基”的重要组成和产业基础高级化的重要领域。发展高精度工业视觉检测技术对加快制造业高端化、智能化、绿色化发展，提升产业链、供应链韧性和安全水平，加快形成新质生产力，支撑制造强国、质量强国和数字中国建设具有重要意义。 高精度视觉检测作为智能检测装备的一项关键技术，是人工智能技术的一个重要应用方向，不仅可以克服人工检测的标准不一致、非重复性和主观性等问题， 也能在高速、高光谱、高分辨率、高可靠性以及工业持续性、环境适应性等方面全面超越人眼极限，而且在大模型、具身智能等最新人工智能技术驱动下，加速向智能化发展。目前，机器视觉检测已广泛应用于汽车、电子、医疗、纺织、食品等行业，在大体量检测场景的支撑下，视觉检测已在多个场景对特定零部件的检测获得极高的可用性和可靠性，并进一步向更多场景扩展。 一方面，以新能源汽车、清洁能源等为代表的高端制造业产能正在向我国转移，此类高端产业包含大量零部件，在产生大量检测需求的同时对检测质量也提出了更高要求，此外，不同零部件由于细微的结构、形状等差异往往具有众多型号，灵活性和适应性也成为检测关注的重点；另一方面，制造业向高端发展，通过机器视觉打通供应链上下游企业间质量信息传递渠道，对提升从采购寻源到生产销售的全过程质量协同管控、全生命周期质量追溯管理水平具有重要意义。可见，高精度视觉检测技术对推进高端制造、实现新型工业化、发展新质生产力具有重要意义。 2.高精度工业视觉检测发展概述 2.1工业视觉检测发展现状 工业视觉检测技术的蓬勃发展得益于底层技术的创新和市场需求的日益增长。一方面，先进的传感器、高速处理器和机器学习算法等底层技术的进步为工业视觉检测提供了更强大的硬件支持和更智能的图像分析能力。另一方面，制造业对于质量控制、生产效率和成本节约的不断追求，推动了对高精度、高速度视觉检测解决方案的需求。这些因素共同促进了工业视觉检测技术在多个方面的显著进步。 工业视觉检测是对感知、计算、机械等多项技术的交叉融合和综合应用，相关基础技术的进步主要包括如下几个方面： 图像采集技术 图像采集包括工业相机、光学镜头、光源、光源控制器等硬件设备，负责对被检测对象进行高质量成像，获取一副或多副图像。采集图像的精度和细节清晰度直接决定了视觉检测的准确性。近年来，多视角、多光谱成像技术迅速发展，以应对复杂几何形状和多材质表面的高精度检测需求；多相机系统与灵活可调的光源设计正在成为主流，尤其是在处理具有遮挡区域或光泽反射问题的构件时，三维成像和多光谱成像技术可显著提升检测精度和效率；此外，超高分辨率相机和先进光学镜头的广泛应用，正在推动从微米级到纳米级的缺陷检测能力的提升。 图像处理技术 图像处理包括提供算力的硬件和执行图像解析的算法两大部分。传统的机器学习算法需要在特征提取的基础上依靠逻辑规则来实现缺陷检测，难以应对非规则性、多样化特征，正在被基于深度学习的AI算法替代。AI算法通过大规模缺陷样本库训练，能够快速识别微小、非线性和不规则的缺陷，但也带来更高的算力需求，推动图像处理从上位机迁移至专用的图像处理卡、工业服务器等硬件设施之上。此外，云边协同以及5G等技术的融合，也进一步拓展了可用算力的空间范围，使云计算、边缘计算也进入工业视觉质检领域。 硬件技术 视觉检测系统包括PLC、机械臂、滑轨、伺服电机、夹具等硬件，负责控制待检测对象或采集设备的运动，包括顶升、旋转、翻转等操作。传统的硬件机构基于预设的逻辑执行固定的动作，随着三维视觉和实时建模技术的成熟和引入，自适应路径规划将得到更多应用；此外，高自由度机械臂、多轴运动平台、灵巧手等技术快速发展，极大的提升了执行机构的灵活性和精确性。上述多项技术的融合发展，使得检测设备不仅能够在受限空间中进行更加灵活、多角度和全方位的检测操作，而且能够处理更加复杂的场景和异形工件，有效应对工业生产中对高效性和灵活性的需求。 全球竞争加剧，工业化重回竞争制高点，一方面，更多传统行业向智能制造转型，另一方面，已率先实施智能制造的企业对生产质量提出更高要求，均带来大量需求，推动工业视觉检测技术的发展： 机器替人 一方面，机器视觉相比人类视觉具有显著优势，如识别精度更高、识别速度更快、一致性和稳定性更高等；另一方面，劳动力短缺和成本上升，也是推动机器替人的重要要素。 智能决策支持： AI向工业制造的全流程渗透，这一转型不仅包括研发设计、生产制造等环节，而且也推动了质量检测技术、检验标准的升级，对生产效率和精度的要求不断提升，带动了高精度工业视觉检测技术的广泛需求。 柔性化生产 个性化定制和小批量、多品种生产成为制造业新趋势，视觉检测系统专款专用逐渐变得不可行，而需具备更高的灵活性，以快速适应不同型号的产品和不同复杂度的工艺，进一步推动视觉检测技术向智能化和自适应方向发展。 2.2工业视觉检测面临的挑战 虽然高精度图像采集、人工智能图像处理、精密运动控制等技术快速发展，有效提升了工业视觉检测的适用范围和精度上限，但制造企业门类众多、发展水平不均衡，工业视觉检测系统不仅仅要满足不同场景差异化的检测需求，而且需要适应不同制造企业不同的信息化、自动化和智能化水平，这些因素叠加为工业 视觉检测带来诸多挑战。 一是在AI成为视觉检测的主流技术的趋势下，工业视觉研发与实施的环节加长，除原有的硬件部署、软件集成外，还涉及模型的训练、部署、更新、运行监控等，全部采用本地化方式面临算力瓶颈、数据孤岛、维护复杂等问题，特别在工业软件云化、工业网络全连接等趋势下，如何做好本地与云的协同，解决上述问题，成为推动高精度工业视觉技术发展的关键。 二是数据不足问题凸显。一方面数据采集不上来，采集源分散，过去企业在生产中不重视数据的留存和积累，工业视觉模型训练数据主要依靠产线改造时收集，高精度模型训练数据不足；另一方面，数据没打通，工业视觉数据采集或存储缺少标准化、格式不一致，限制了工业视觉数据向规模化、产业化发展，减缓了视觉大模型等技术在工业视觉检测场景的应用进程，抑制了更具泛化性和更高精度检测精度模型的快速推出。 三是检测场景变化频繁，工业视觉检测算法在泛化性能和检测精度上面临严峻挑战。制造企业普遍存在混线生产，生产需求频繁变化，产品种类和型号多样，缺陷大小各异，如何快速适应这些变化成为工业视觉向自动化、智能化发展必须克服的一大挑战。 四是工业装备向数字化、协同控制发展，当前工业视觉质检面临设备功能单一、协同不足等问题。传统的视觉检测设备往往只能执行特定的检测任务，缺乏灵活性和扩展性，无法满足多样化的生产需求。面对柔性化生产和多样化的质检需求，增强人与设备以及设备之间的交互及协作效率，成为提升工业视觉检测系统整体性能的有效途径之一。 3.高精度工业视觉检测关键技术 在数字技术的影响下，精益制造向各行业渗透，相应的，对工业视觉检测在精度和灵活性等方面也提出了更高要求。为此，中国移动研究院综合利用5G、AI、云边协同等新一代信息技术，依托中国移动星辰视界视频云边端智能平台，打造了“高精度工业视觉检测系统”。该系统包含了由云边一体化协同、柔性化数采、高精度视觉检测算法和人机交互四项关键能力共同构建的技术体系。目前，该系统已在汽车、服装、五金等多个行业实现场景创新与应用推广，落地项目形成示范性标杆应用。同时，高精度工业视觉检测成果助力中国移动以第一名成绩获工信部人工智能产业创新任务揭榜优胜单位。 图3-1高精度工业视觉检测关键技术体系 如图3-1，高精度工业视觉检测关键技术体系由以下几部分组成： 1)云边端一体化协同：5G以及专网等技术的应用，在保障高带宽、低延迟的前提下同时可以实现更安全的数据传输和处理，将工业视觉检测从本地化单点应用拓展为云边协同的分布式应用。其中，云端负责模型的训练和集中管理，而边、端则负责数据采集、预处理和实时推理，该架构通过云边协同的方式可以有效提高系统的响应速度和数据处理能力。 2)柔性化数据采集：作为整个检测系统的基础，数据采集层使用高分辨率工业相机和3D扫描设备，配合精确的光学系统和稳定的照明条件，形成柔性化数采方案，捕捉被检测工件的图像和三维数据。 3)高精度视觉检测算法：高精度工业视觉检测系统采用多种算法，包括传统的图像处理算法和基于深度学习的算法，处理和分析图像数据，识别出构件的关键特征和潜在缺陷，并对检测结果进行分类和评级。 4)人机交互与多机协同：视觉检测结果实时反馈给生产控制系统，并提供直观的用户界面，使操作人员能够实时监控、过程指导、复核反馈以及查看检测报告和历史数据等。同时，协调不同机器之间的任务分配与