2022AI工业视觉解决方案白皮书

2022 AI工业视觉解决方案白皮书 AIINDUSTRIALVISIONSOLUTIONS ·2022Microvision.Allrightsreserved. COPYRIGHT 版权声明 本白皮书出品方为维视智造科技股份有限公司，版权受法律保护。转载、摘编或利用其他方式使用本白皮书文字或者观点，应注明“来源”：“维视智造科技股份有限公司”。违反上述声明者，出品方将追究其相关法律责任。 CONTENTS 目录 工业视觉技术发展趋势 1.1工业视觉技术概述05 1.2工业视觉典型应用场景06 1.3工业视觉面临的挑战及发展趋势07 深度学习技术发展趋势 2.1深度学习技术概述10 2.2工业视觉深度学习技术发展趋势12 AI工业视觉落地痛点及关键技术 3.1AI工业视觉落地痛点18 3.1.1额外的硬件18 3.1.2发热量和功耗18 3.1.3大量的训练数据18 3.1.4大量的人工标注工作19 3.2AI工业视觉落地关键技术解析20 3.2.1基于CPU进行训练及推理20 3.2.2缺陷检测深度学习过滤及图像自动采集标注技术20 3.2.3小样本训练及神经网络模型再训练技术21 AI工业视觉解决方案 4.1AI工业视觉解决方案架构及组成24 4.1.1基于本地算力的AI工业视觉解决方案24 4.1.2基于边缘侧的AI工业视觉解决方案25 4.1.3基于5G+云端的AI工业视觉解决方案26 4.2AI工业视觉解决方案实施流程27 4.2.1数据收集27 4.2.2分类及数据标记28 4.2.3模型训练32 4.2.4在线推理及优化33 4.3AI工业视觉解决方案典型应用场景34 4.3.1缺陷检测34 4.3.2图像分类43 4.3.3字符识别47 4.3.4深度学习与传统算法的融合48 4.4AI工业视觉解决方案发展前景预测57 工业视觉技术发展趋势 AI工业视觉解决方案白皮书 1.1 工业视觉技术概述 工业视觉也称机器视觉，是人工智能正在快速发展的一个分支，是在工业上为自动检 查、过程控制和机器人引导等应用提供基于图像的自动检查和分析的技术及方法。机器视觉系统是通过机器视觉产品（CMOS和CCD）将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 如果我们将1969年CCD芯片的产生作为机器视觉技术的起点，该项技术的发展已经有半个世纪的历史，经过长时间的发展，机器视觉技术日益取得重大突破和广泛应用，当前已经遍布工业生产的各个环节，在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现自动化集成，软件集成，是实现智能制造的基础技术。根据不完全统计，目前广泛应用工业视觉的工业生产行业包括：半导体、电子、汽车、光伏、能源、交通、印刷、食品、医药、物流、轻工等。中国的机器视觉市场需求近几年处于持续高速增长阶段，年复合增长率保持在23%。截至2021年，国内机器视觉市场规模达163.8亿元。 5 1.2 AI工业视觉解决方案白皮书 工业视觉典型应用场景 机器视觉在工业领域应用广泛，按功能和场景主要分为四大类：识别、定位、测量、 检测。 识别包括有无、颜色和条码/二维码识别，主要通过甄别目标物体的物体特征来进行判定，在工业应用场景中占比约24%。 定位功能是在识别出物体的基础上，经过测量准确的给出目标物体的坐标位置，制造业自动生产装配过程中，机器人需要知道来料的位置，才能完成后续的加工、装配、搬运等一系列动作。在工业应用场景中，定位需求占比约为16%。 测量泛指利用被测物体特征进行全局或局部尺寸数据获取的应用，包括：长度、平行度、角度、圆弧长、圆直径、半径、点到线的距离、点点距离等等，尺寸测量既可以用于产品生产过程中的尺寸数据管控，也可以用于数据的获取，在工业应用场景中占比约为10%。 检测指的是对目标物体表面的缺陷进行检出。产品生产制造过程中产生的表面缺陷会影响其性能及客户体验，传统人工检测的方法需要耗费大量的人力，且无法满足现代生产工艺和节奏的要求，利用机器视觉的方法进行智能化检测可以有效的解决这一问题，同时节省成本、提高产能。因此，表面缺陷检测是机器视觉最重要的应用方向之一，在整个工业应用场景中占比约为50%。 6 AI工业视觉解决方案白皮书 1.3 工业视觉面临的挑战及发展趋势 总体来说，工业视觉在定位、测量、识别、检测等各个方向上的应用都面临着精度越 1.缺陷检测 OK NG 难点：缺陷特征被随机的螺牙背景干扰，难以独立分割出缺陷区域 2.特征分割 难点：缺陷区域呈现随机灰度等级的黑色或白色，难以提取全部缺陷区域 3.特征定位 难点：待定位的特征呈现相对随机的轮廓，无法以特定模板匹配 4.产品分类 好 烂 难点：不同类别的枣无任何归一的特征规律，无法基于特征参数区分 来越高、速度越来越快、准确率要求越来越高的挑战。这其中的部分问题随时硬件水平的提高得到了有效的解决，比如采集硬件的分辨率、传输带宽、运算效率方面，但是也有一部分问题，需要长周期的实践和迭代升级才有解决的可能，这其中的典型代表，就是复杂场景下的缺陷检测。以下是几类传统算法难以解决的机器视觉代表性场景： 7 AI工业视觉解决方案白皮书 此类问题在工业现场是普遍存在且用户需求迫切希望得到解决的，这为工业视觉的算法发展提出了新的挑战。同时，如果这些问题得到解决，那么工业视觉的应用边界，将会得到极大的拓展，由原来只能在产品标准化、一致性极高的场景，变成几乎可以替代人眼进行任意场景下的视觉检测应用，而且不止是工业生产方面，在农业、民用等领域也可以取得良好的应用效果。 解决这一问题的最核心关键点，就是深度学习技术的发展和应用。 8 深度学习技术发展趋势 AI工业视觉解决方案白皮书 2.1深度学习技术概述 深度学习是机器学习中一种基于对数据进行表征学习的方法。在给予它一组输入后， 它使我们能够训练AI来预测结果。其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像、声音和文本。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。 区别于传统的浅层学习，深度学习的不同在于： (1)强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点； (2)明确了特征学习的重要性。也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据丰富的内在信息。 10 userid:497168,docid:144116,date:2023-10-29,sgpjbg.com AI工业视觉解决方案白皮书 (3)通过设计建立适量的神经元计算节点和多层运算层次结构，选择合适的输入层和输出层，通过网络的学习和调优，建立起从输入到输出的函数关系，虽然不能100%找到输入与输出的函数关系，但是可以尽可能的逼近现实的关联关系。使用训练成功的网络模型，就可以实现我们对复杂事务处理的自动化要求。 典型的深度学习模型有卷积神经网络(convolutionalneuralnetwork)、DBN和堆栈自编码网络(stackedauto-encodernetwork)模型等。 11 2.2 AI工业视觉解决方案白皮书 工业视觉深度学习技术发展趋势 在工业视觉方面，深度学习的典型应用领域是异常检测、图像分类、缺陷检测和物体 定位。与传统的机器视觉方法相比，深度学习神经网络适应性更好，通用性更广。 1.异常检测:是指将整个图像划分为“好”或“坏”，例如药片的好坏，是对图像整体的属性进行判断。 2.图像分类:是指将整个图像划分为已定义的类型，例如对仅包含单个物体的图像进行类型分类。例如，猫狗分类，或者同一种产品的不同状态进行分类。 12 AI工业视觉解决方案白皮书 3.缺陷检测:也称像素分割缺陷检测，是指逐像素进行分割，在图像中判断是否存在局部区域的缺陷，是工业场景中进行质量检查最典型的应用之一。 13 AI工业视觉解决方案白皮书 4.物体定位:指的是确认某项固定或类似特征在图像中的位置，例如我们经常用到的人脸识别。 14 AI工业视觉解决方案白皮书 深度学习和传统机器视觉方法的差异主要在于，传统机器学习的步骤是人工分析图片的特征，通过图像算法提取特征，然后通过特征的数值来区分物品。在分析的时候不需要大量的图片，只需要几种分类的典型图片，和类别之间的临界图片。人工分析在整个过程当中起到了主导的作用。而深度学习的步骤是采集大量图片，标注图片，把图片放进网络训练，查看训练结果，调节参数和网络结构，再次训练，得到最好的结果。深度学习在标注和训练的时候不需要专业，网络会自动提取和筛选特征，规划分割阈值。只是在调整参数和网络结构时需要专业工程师，但是在一些项目中可以不用调整参数和网络结构，通过调整数据来解决准确性问题。 特征提取 分类 机器学习 深度学习 特征提取+分类 15 AI工业视觉解决方案白皮书 其次，当检测不同的物体和特征时，深度学习方法的优势是能够检测以不同形式出现的物体或特征，例如表面划痕、不同形状的天然产品或手写字迹。例如在异常检测中，只需使用完美无瑕的物体图像来训练神经网络，即可识别物体在使用过程中造成的损坏。 再次，经过适当训练的神经网络可以很好地识别出变量环境（如变化的背景、不同的分辨率或光源条件）中的物体，无需针对每个可能的特性进行专门训练。但是需要大量的图片数据。 当然，深度学习工业视觉的实施也需要具备一定的条件和成本。在硬件配置方面，通常需要增加额外的GPU作为算力支撑，在实施方面，需要准备大量的训练样本数据，大量的人工标注工作量等，但是，考虑到期在识别能力上，算法的适应力上和特征提取和分类的流程上的优势，随着市场需求、行业技术水平的发展，硬件性能提升，成本有所下降之后，深度学习在工业视觉的应用一定会更加的普及。 16 AI工业视觉落地痛点及发展趋势 3.1 AI工业视觉解决方案白皮书 AI工业视觉落地痛点 与传统方法相比，为了在应用中充分发挥纯深度学习方法的优势，往往需要对使用的 硬件进行额外投资，并需要大量的示例图像来训练神经网络。 3.1.1额外的硬件 深度学习架构复杂精巧、功能强大，其突出特点在于它是由大量的神经网络层构成。因此，运行深度学习的应用程序需要用到大量的内存和计算能力。通常只有将计算任务转移到额外的处理器（如GPU显卡）上同时执行计算，才能在可接受的短时间内完成处理工作。在目前的市场条件下，增加GPU显卡对于很多用户来说是一项不小的成本开支。 3.1.2发热量和功耗 大型神经网络对计算能力的要求较高，因此增加了应用的功耗，并相应地增加了发热量。这尤其会对嵌入式系统造成问题，因为通常需要对嵌入式系统的低功耗和热管理方面进行优化。 3.1.3大量的训练数据 要想可靠地识别物体，首先需要大量的训练图像，这些图像会描述和标记所有物体和属性，以便让系统能在尽可能多的不同变量