2024年工业视觉检测算法方案白皮书

阿丘科技产品实战系列白皮书 工业视觉检测算法方案 明确需求 单图方案设计 07 07 CONTENTS目录 01 02 工业视觉检测项目的特点 工业视觉检测项目的特点 02 工业视觉检测算法方案的基础概念 算法工具的概念03 04 05 算法工具的能力边界 工业视觉检测算法方案的概念 03 算法方案优劣评价的标准 算法方案优劣评价的标准 06 04 制定工业视觉检测算法方案 随着工业4.0时代的到来，智能制造已成为全球制造业发展的新趋势。在这一进程中，工业视觉检测技术作为关键的技术支撑，它不仅可以显著提高生产效率和产品质量，还能有效降低人工成本，减少人为错误，确保生产过程的安全性和可靠性。然而，工业视觉检测技术在实际应用中面临着诸多挑战，如背景复杂、对比度低、缺陷种类多样等问题，极大地限制了工业视觉检测技术的广泛应用。 阿丘科技作为工业视觉检测技术的先行者，基于多年的研究成果和技术积累，推出《工业视觉检测算法方案》白皮书，全面介绍工业视觉检测技术的现状与趋势，深入分析当前面临的技术难题，并提出创新的算法解决方案。我们希望通过分享最新的研究成果和技术实践，为行业内外提供一个深入了解工业视觉检测技术的机会，促进技术交流与合作，共同推动工业视觉检测技术的进步与发展。 一.工业视觉检测项目的特点 在现代工业生产中，视觉检测技术的应用正变得越来越广泛，它在提高产品质量、优化生产流程方面发挥着至关重要的作用。然而，与人脸识别、交通监控、安防监控等应用场景相比，工业视觉检测项目的场景更为特殊，它很难与当下主流的AI平台工具配型，或者是通过单一算法模型进行训练，通常情况下，工业视觉检测项目面临着一系列独特的难点与挑战。 首先，算法实现难。工业环境中的背景往往非常复杂，且对比度较低，这使得缺陷检测变得尤为困难。例如，在电子元件的检测中，背景可能包括电路板、导线等多种材质，这些材质的颜色和纹理变化多样，增加了缺陷检测的难度。此外，工业产品中的缺陷种类繁多，简单的项目就可能涉及10种以内的缺陷类型，而复杂的项目则可能包含上百种不同的缺陷类型。这些缺陷不仅数量众多，而且差异较小，给算法的设计和优化带来了极大的挑战。更重要的是，这些缺陷往往分布在多个平面上，需要在不同工位上利用相机采集多张图像来完成检测任务，进一步增加了算法实现的复杂性。 其次，样本收集难。在许多质量控制严格的生产线上，缺陷样本非常稀缺，特别是在高良品率的产品制造过程中，特定缺陷的出现频率极低，这导致相关缺陷样本的收集周期可能长达数月甚至数年。一旦缺乏足够的缺陷样本，模型训练就会变得困难，进而影响检测的准确性和鲁棒性。 而且，检测要求高。通常情况下，工业视觉检测项目不仅需要达到零漏检的标准，同时还必须保证图像处理的速度足够快（通常要求在毫秒级别内完成）。这样的高标准对算法的设计提出了更高的要求。例如，在半导体制造过程中，晶圆的检测要求几乎为零漏检，任何微小的缺陷都可能导致整个晶圆报废，造成巨大的经济损失。因此，检测算法需要具备极高的灵敏度，以确保不会错过任何一个潜在的缺陷。同时，生产线上对图像处理速度的要求也非常之高，以确保生产线的高效运转。 最后，客户非常关心部署与维护的成本。为了确保系统的稳定运行，工业视觉检测系统不仅需要具备高度的可靠性，还应易于维护，并能够迅速复制到其他生产线上，这要求系统设计时充分考虑硬件和软件的兼容性、可扩展性和易用性等。例如，一些高端的视觉检测系统可能需要配备多台高性能的GPU服务器，这不仅增加了初期投资成本，还带来了较高的运维费用。所以，设计一套既高效又经济的解决方案显得尤为重要。 因此，工业视觉检测由于其特有的复杂性和多样性，往往无法靠单一模型解决问题，而是需要由多个算法连接组成一个完整的算法方案，才能实现需求功能并达到检测要求。这些算法方案通常需要综合运用多种技术工具，如定位、分割、检测和OCR等模块，通过合理的组合和优化，以满足工业检测中的各种挑战和需求。 二、工业视觉检测算法方案的基础概念 1.算法工具的概念 分割 非监督分割 检测 定位 在工业视觉检测中，算法工具是指能够独立解决某一特定问题的技术模块。这些工具通常具有特定的功能，可以单独应用于某个具体的任务。例如，“定位”工具可以从输入图像中确定目标的位置和姿态；“分割”工具则可以针对输入图像生成多边形分割区域。虽然每个算法工具都能单独执行特定的任务，但在工业视觉检测中，这些需求通常涉及多个检测项目和严格的标准，单一的算法工具往往难以独自完成。 字符识别装配检查分类非监督分类 非监督分割 关于上述八大技术模块的简单介绍，可见下图 分割 磕边 异物 OK NG 对图像进行像素级检测，精准识别缺陷的位置、尺寸和类别 只需良品图即可对所有已知和未知缺陷进行像素级检测，快速上线验证 判断整张图像所属类别 检测 定位 NA660-24 字符识别 对图像中的字符进行高效识别 溢胶 变形 分类 对图像进行区域级检测，准确识别目标物或缺陷检测图像中单个或多个目标的类别、位置、大小和方向 装配检查 检测固定区域内目标的有无、数量是否符合要求 非监督分类 NG NG OK 只需良品图即可对所有已知和未知缺陷进行整图分类，快速上线验证 算法工具均有其适用范围和能力边界，了解这些边界是制定合适算法方案的前提。所以，在制定算法方案之前，需要对AI和传统算法、各AI模块的能力边界有清晰的认识，以便更好地发挥各自的优势，解决实际问题。 首先，AI与传统算法的能力边界。尽管AI技术在近年来取得了显著进展，但与传统计算机视觉算法相比，两者在应用场景和能力上各有侧重。AI技术在处理低对比度和背景干扰较大的情况时表现出色，其最小检测精度可以达到3x3像素。这使得AI在检测例如电路板上的微小缺陷、纺织品上的细小污渍等方面具有明显优势。然而，传统算法在高精度定位和测量任务中更加精确，能够达到亚像素级别的精度。例如，在机械零件的尺寸测量和精密装配中，传统算法能够提供更高的测量精度和稳定性，确保生产的高质量和高效率。 其次，AI各工具的能力边界。AI技术内部的不同工具也具有各自的特点和适用场景。分割工具能够提供像素级别的检测结果，适用于需要精细划分目标区域的任务，如电路板上的焊点检测、医疗影像中的病灶分割等。相比之下，定位和检测工具主要提供区域级别的信息，适用于需要快速识别目标位置和类别的任务，如汽车零部件的定位、食品包装上的文字识别等。了解这些工具的具体能力和应用场景，有助于在实际项目中选择最合适的工具组合，提高检测的准确性和效率。 最后，非监督学习的能力边界。非监督学习是近些年流行起来的一种重要的机器学习方法，它在缺乏大量标注数据的情况下仍能有效工作。例如，阿丘科技发布的非监督分割算法，能够检测最小7x7像素的缺陷，这种能力在处理稀有缺陷样本的场景中尤为有用。非监督学习通过自学习的方式，从大量未标注的数据中发现模式和结构，从而提高模型的泛化能力和适应性。在实际应用中，非监督学习不仅可以减少数据标注的成本和时间，还可以在数据有限的情况下快速构建有效的检测模型。 OCR工具 分割工具 综合判定工具 定位工具 算法方案是指将多个算法工具组合起来，以解决非单一问题的方法，在工业视觉检测中，一个完整的算法方案通常需要综合运用多种工具，以满足复杂的检测需求。例如，在一张图像中既需要输出多边形分割区域，又需要识别并读取其中的文字信息（OCR），并且在执行分割操作之前还需确定目标的确切位置。在这种情况下，一个完整的算法方案将包括定位模块、分割模块和OCR模块等多个部分，它们协同工作以达成最终的检测目标。 图像输入 在实际的工业视觉检测项目中，一款优质的算法方案不仅能在技术上可行，且能在经济性和维护成本上满足客户的需求。以下是阿丘科技从三个主要维度，对算法方案优劣评价的标准。 首先，技术可行性。判断算法方案的技术可行性，即能否满足客户的检测效果要求与性能要求。此时，通常会选择有代表性的难点项目进行轻量级的离线POC（ProofofConcept）测试。这些测试项目会涵盖关键检测项，以确保算法在实际应用中能够有效工作，并且满足速度要求。如果测试结果不理想，可能需要与客户协商调整项目范围或降低某些指标的要求。例如，检测系统的漏检率无法达到零，则可以与客户讨论是否可接受一定的漏检率，以换取更高的处理速度。 其次，算法的投入产出比。工业视觉检测系统通常需依赖高性能的硬件支持，如多张高性能显卡。这些硬件设备的成本较高，因此在评估算法方案时，需要考虑硬件投入是否经济合理 （例如，使用高性能GPU可以显著提高图像处理速度，但也增加了初始投资成本）。而且，有些项目的算法开发周期过长，不仅会影响项目的按时交付，还会增加人力和资源的投入，且交付过程的复杂度也会增加项目的总体成本。因此，需要评估项目的开发周期和交付流程，确保项目能够在预定的时间内顺利交付。同时，过程中还需要技术人员与业务部门密切合作，共同判断项目的商业可行性。另外，AI技术在开发阶段门槛低、投入少，是其相对比传统算法的一大优势。许多客户通过阿丘科技的工业AI视觉算法平台软件AIDI，使得原本需要调用几十甚至上百个算子的传统方法，变为只需一个AI模块就能实现缺陷检测，而且初版模型的训练、测试，不需要图像算法基础，也无需代码基础。 最后，算法的维护成本。项目后期的维护成本往往在项目前期时会被忽略，但当项目批量交付，维护成本开始显现，通常会占用算法团队大量的时间。传统的算法方案在维护阶段需要算法工程师频繁调参，不仅增加了维护成本，还影响了系统的稳定性和可靠性。而当大部分检测方案改为以AI为主或AI与传统算法结合后，算法维护工作逐渐转给售后团队，甚至客户产线上的一线员工也可以承担起AI模型训练的工作。 制定一个有效的算法方案是确保检测系统性能和效率的关键步骤，以下是较为详细的步骤指南，可帮助工程师或项目管理者理解并制定可落地的工业视觉检测算法方案。 1.明确需求 在开始设计算法方案之前，首要任务是进行详尽的需求梳理。包括对需求项进行细致的拆解，以确认项目中涉及的多个工位、所需处理的图像数量、检测项的数量以及相应的标准。这一步骤至关重要，它为整个项目设定了基础和方向。 同时，检测要求包括对过检和漏检指标的具体要求，以及CT（CycleTime，周期时间）的要求。过检和漏检指标是衡量检测系统性能的关键参数，它们直接影响到产品质量和生产效率。CT时间要求则关系到检测系统在生产线上的实时响应能力，对于保证生产流程的连续性和稳定性至关重要。 2.单图方案设计 （1）算法方案设计流程 对于单张图像的算法方案设计，设计算法方案步骤如下。 第一步，完成单一检测项的算法方案设计。这一步涉及到选择合适的算法工具和参数，以实现对特定缺陷的检测。 第二步，在单一检测项算法方案的基础上，进行局部算法流程的合并。这一步的目的在于优化算法流程，提高检测效率，减少冗余步骤。 （2）单图算法整合 在单图算法整合阶段，常见的做法是让不同的检测项共用一个ROI提取工具，如下图所示。这种方法可以提高算法的效率，减少对计算资源的需求，同时保持检测的准确性。 （3）产品算法方案整合 在完成了各个工位的单图方案设计后，下一步是整合这些方案，形成产品的完整算法方案。这一过程需要结合视觉系统检测流程，绘制出算法流程与时序图，以评估当前方案是否能够满足速度要求，并对硬件配置（主要为显卡）进行评估。在整合算法方案时，需要注意以下几点： 第一，设计整体算法流程时，如果对速度的要求较高，则应尽可能并行处理。例如，在下方展示的时序图中，采集图像、传统前处理、AI检测和结果汇总等步骤都应实现并行处理，以保证检测流程的节奏紧凑，满足生产线的高速要求。 产品1 产品2 工位一 工位二 工位一 工位二 采集图像 传统前处理 260ms 260ms 260ms 260ms260ms AI检测 ...