工业视觉技术与应用白皮书

工业视觉技术与应用白皮书 (2023) 中移智库 中国移动通信有限公司研究院 联合编写单位 （排名不分先后） 中国移动通信有限公司研究院 中移（上海）信息通信科技有限公司 中国移动紫金（江苏）创新研究院有限公司安谋科技（中国）有限公司 北京研华兴业电子科技有限公司浪潮通信技术有限公司 上海极清慧视科技有限公司英特尔(中国)有限公司 浙江大学鹏城实验室 前言 本白皮书旨在对中国移动及合作伙伴在工业视觉产业发展的现状、关键技术、典型案例等方面进行分析，同时提出工业视觉产业推广的倡议。希望通过该白皮书为未来工业视觉产业的技术、产品以及解决方案的发展与实施提供参考和指引。 本白皮书的版权归属于中国移动，未经授权，任何机构或个人不得复制或拷贝本建议之部分或全部内容。 目录 1.工业视觉发展概述1 1.1工业视觉发展意义1 1.2国内外政策导向1 1.3工业视觉发展趋势3 2.工业视觉关键技术7 2.1采集技术7 2.2处理技术9 2.2.1工业视觉智能边缘平台9 2.2.2机器视觉算法13 2.2.3算力设施15 2.3应用技术18 3.典型应用场景案例分析20 3.1工业质检21 3.1.1案例背景与需求21 3.1.2实施案例21 3.1.3实施效果23 3.2无人机设备巡检24 3.2.1案例背景与需求24 3.2.2实施案例25 3.2.3实施效果26 3.3尺寸测量26 3.3.1案例背景与需求26 3.3.2实施案例27 3.3.3实施效果28 3.4产线监控28 3.4.1案例背景与需求28 3.4.2实施案例29 3.4.3实施效果30 4.总结与展望31 4.1挑战31 4.2展望32 5.缩略语列表33 6.参考文献34 1.工业视觉发展概述 1.1工业视觉发展意义 全球正在经历由人工智能、物联网、大数据、生命科学为代表的创新技术融合而成的第四次工业革命。工业互联网、智能制造等概念不断向工业技术、生产工艺、经营管理、营销服务等环节渗透，推动制造业加速向数字化、网络化、智能化发展。现代工业的发展旨在构建一个以工厂智能化生产为导向，以数据自动流转为本质的全新工业生态体系。数据作为贯彻现代化工业产品全生命周期的核心，在整个工业生态中不断地产生和流动，其低延时、高可靠、广覆盖的特性，对工业生产过程中的数据处理技术和计算技术提出了更高挑战。 机器视觉作为现代工业中把人、数据和机器连接起来的重要一环，是工业转型的重要技术，为制造业带来生产周期、质量和效率的同步改善。随着信息技术、现场总线技术、深度学习技术的发展，视觉数据在工业数据中的比重不断增加，视觉技术的发展在工业数据的挖掘和有用信息的获取方面有着关键作用。近年来，我国工业机器视觉行业研发投入占比稳步提高，工业视觉的应用边界在不断开拓，产业价值不断提高，市场规模逐年扩大。基于工业视觉的自动化检测设备已成功应用于玻璃纤维、复合材料、食品医药、金属加工等行业，已成为现代加工制造业不可或缺的部分，极大地提高了制造企业生产品质和效率。 1.2国内外政策导向 现代工业智能制造是各个国家的重要战略发展方向，工业视觉作为智能制造的关键技术之一，全球范围内的主要工业强国都发布了相关的中长期发展规划。 工业4.0最早由德国学术界和产业界共同推动形成，2013年纳入德国《高技术战略2020》的十大未来项目，被认为是德国巩固全球制造业龙头地位和抢占第四次工业革命国际竞争先机的国家战略。作为老牌工业强国，德国在重点发 展智能生产与智能工厂的过程中，强调以制造业为本体，依靠机器视觉实现工业自动化彻底变革，旨在将德国打造成为全球市场中智能制造技术的主要供应商。 美国政府通过大力支持“先进制造伙伴关系”（AMP）计划发展创新基础设施，建立国家智能制造创新网络。法国政府先后推出“新工业法国”和“新工业法国Ⅱ”，布局数字制造、智能制造，带动商业模式变革。日本政府提出《日本制造业白皮书》把“互联工业”作为未来产业。英国政府提出“英国制造2050”推动未来的产品和生产网络与信息通信技术融合。 我国在迈向以信息通信技术科技深度应用为主要特征的科技革命新阶段，积极促进制造业与互联网的融合，从强调技术、研发、基础能力逐步扩展到重视具体实际应用场景方面出台了一系列激励政策。 2015年，中国制造强国战略第一个十年行动纲领——“中国制造2025”，首次提出支撑工业视觉等新一代智能感知技术的发展。十三五规划时期，国家在重点领域核心技术突破、基础能力建设方面发挥方向性指导作用，出台的《新一代人工智能发展规划》指出积极研究无人车间智能技术，研究复杂环境下基于机器视觉的定位、导航、识别等机器人及机械手臂自主控制技术，抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势。2020年的《工业互联网创新发展行动规划（2021-2023年）》提出加强工业互联网基础支撑技术攻关，支持工业5G芯片模组、工业视觉传感器及行业机理模型等基础软硬件的研发突破。 最新的十四五规划提出要重视具体实际应用场景、重视产业链协同等方向引导。2021年12月发布的《“十四五”机器人产业发展规划》与《十四五智能制造发展规划》指出要重点支持企业应用新一代信息技术改造的智能化工厂、数字化车间，加快高清成像、工业视觉技术研发与应用，鼓励工业软件企业打造更多产品。 图1.1国内部分工业视觉相关政策解读 依托政策的支持，近年来业界对工业视觉积极展开了理论和实践探索，相关概念已经普及并且进入应用推广新阶段。现在工业视觉已经涵盖了工业领域的众多行业，为工厂的智能化发展奠定基础。 1.3工业视觉发展趋势 机器视觉作为人工智能技术发展的重要分支，是通过传感器接收和处理真实物体的图像，以获得所需信息或控制机器人运动的技术。工业场景对机器视觉技术的需求持续推动着工业机器视觉技术的发展，随着工业自动化技术向着智能化方向演进，工业视觉被越来越多地应用于包括流水线产品视觉质量检测、基于视觉引导的机械臂作业以及智能工厂建设在内的各种工业生产场景中。如图1.2，调研机构MarketsandMarkets的数据显示，2010-2020年全球机器视觉市场规模呈现不断上升的趋势，2020年全球机器视觉市场规模已有107亿美元，近5年复合增速达14.48%，在2020-2025年预测期内的复合年增长率为6.1%，市场需求巨大。 图1.2全球机器视觉行业市场规模 ——数据来源：MarketsandMarkets 我国工业视觉行业自上世纪八九十年代始萌芽，加入世贸组织后加速发展，2010年前后随我国产业结构升级进入高速发展期，随国产化应用需求逐步提升、 自研比例逐步提升，目前我国工业视觉行业已经步入超越期。如图1.3所示，我 国在2016-2021年间工业视觉规模从47亿元增长至178亿元，年复合增长率约30%。预计在“中国制造2025”等政策的驱动下，我国工业视觉市场规模将继续保持高增长态势，到2026年，市场规模将有望突破500亿元，期间年复合增长率约为25%。 图1.3中国工业视觉市场规模及增速 ——资料来源：甲子光年智库 机器视觉系统在未来工业领域将展现出巨大的应用前景，主要依托以下几方 面优势： 1）非接触式测量：机器视觉基于光学成像技术，观测者与被观测者无需接触，做到无损测量，系统稳定性高。 2）光谱响应范围广：机器视觉使用的传感器可覆盖红外、紫外等波段，有效扩展人眼视觉范围。 3）长时间稳定工作：机器视觉可以对物体实现长时间稳定测量、分析、识别，克服因人眼疲劳对观测者工作时长的限制。 4）可重复性强：机器视觉系统根据预设观测标准进行评判，被观测物体不受观测者的主观因素影响，具有强可重复性。 工业视觉产业链上游包括以光源设备、相机及镜头设备、视觉控制器为主的核心元器件厂商和视觉处理分析软件研发厂商，二者共同为中游的系统集成商与设备制造商提供底层支持，产业链下游集成服务商将智能视觉设备与生产工艺相结合，并通过分销渠道触达行业用户。 上游：涉及的软硬件定制化程度高，底层算法库需长时间市场积累。外资企业，如基恩士、康耐视等国际厂商凭借着先发优势实现对市场的垄断，国内由于自动化进程的时间较短，目前主要实现中低端领域的国产化。 中游：系统集成商面向设备制造商或者最终用户提供硬件集成、软件服务等解决方案。目前国内系统集成行业门槛较低，市场竞争较为激烈，行业盈利空间相对有限。设备制造商不仅需要集成系统，还要将光源、镜头、相机、图像采集卡、视觉分析软件等与软件系统结合，针对特定下游应用场景进行开发，制造完整的机器视觉系统或装备。 下游：涉及应用场景落地和产品交付的关键环节，深度集成、融合的解决方案提供方通过掌握各种设备在不同生产环境中的应用技术，提供适用于不同行业的完整解决方案。当前，工业视觉产业链的集成商负责将工业环境、生产环节的数据需求转化为产品、解决方案需求，整合上游软硬件和配套服务，是服务工业客户的重要界面，是产品落地的主要承担方。 图1.4中国工业视觉企业图谱 6 2.工业视觉关键技术 2.1采集技术 相机作为工业领域主要的图像采集设备，是将光信号转换成电信号，并通过规定接口发送至接收端以提供清晰、准确的高清图像的一体式设备，是工业机器视觉中的关键组件之一。根据标准不同，传统工业相机主要分类方式如下： 参数 CMOS CCD 信噪比 低 高 敏感度 高 更高 体积 小 大 功耗 低 高 曝光一致性 低 高 全局快门实现性 难 易 系统复杂度 低 高 成本 低 高 1）根据芯片类型分为CMOS和CCD两种相机，对比如表2.1所示。由于集成电路技术的限制，早期CMOS相机噪声大、灵敏度差、分辨率低，在成像效果上明显差于CCD，故其后的几十年内主流图像传感器技术以CCD为发展方向。近年来，随着集成电路技术的迅猛发展、工艺水平不断提高，CMOS相机的诸多缺点已得到大幅改进，而其集成度高、价格低廉等固有优点使得CMOS相机成为主流。 表2.1CMOS与CCD相机对比 2）根据像素排列方式可分为线阵相机和面阵相机。面阵相机使用像素矩阵进行光学采集，并将采集的信息转换为完整的二维图像信息，目前大多数场景的图像采集以面阵相机为主。线阵相机将像素矩阵的长度增加，宽度缩减至几个像素，使像素矩阵呈现“线状”，通过扫描和运动完成图像信息的采集，并在软件端将拍摄的图像进行拼接。其适用于曲面物体、狭长物体的表面图像采集，可实现如传送带、滚筒之类产品的表面 瑕疵检测。TDI(TimeDelayedandIntegration)线阵相机是一种具有一 种面阵结构、线阵输出的新型光电传感器相机，相较普通的线阵相机具有多重级数延时积分的功能，可以对同一目标多次曝光以增加对光能的收集，具备更高的灵敏度、响应度、和动态范围等优点，在低光照度环镜下也能输出一定强度信噪比的信号。 3）根据色彩类型可分为单色（黑白）相机和彩色相机。单色相机可收集更加完整的图像信息，图像质量优于彩色相机。彩色相机在色彩呈现过程中，因算法无法精准还原色彩信息会出现伪彩色、摩尔纹等图像缺陷，而低通滤镜在抑制上述缺陷时会损失图像的锐度和立体感。在彩色相机图像质量技术提升方面，富士公司“X-TRANSCMOS”采用不规则阵列以去除低通滤镜，适马“FoveonX3”技术采用单像素三层感光元件记录信息。 4）根据分辨率大小可以分为普通分辨率相机和高分辨率相机。高分辨率相机要求相机输出图像分辨率在1280*720（720p）以上，最新的超高清相机则要求分辨率高于3840*2160（4k），是继标清、高清后的新一代图像采集技术，具有清晰度高、色彩还原性好、性能稳定等特点。为了提高产品的检测精度，工业领域低数据量图像采集正向高数据量图像采集转变，超高清相机的使用范围也在逐步扩张。超高清相机目前以面阵CMOS相机为主，可适用于手机面板和PCB板等具有固定视野面积的产品检测。 此外，工业相机还可以根据扫描方式分为隔行扫描相机和逐行扫描相机，根据输出信