大模型时代的工业质检方法论

大模型时代的工业质检方法论 腾讯云工业质检产品负责人王刚2024.06 专注人脸人体、工业AI、图像识别、OCR等视觉AI领域的前沿研究和落地应用 15+ 行业解决方案 90+ 腾讯明星产品业务线接入 300+ 论文 1000+ 全球专利 30亿+ 次/天日均服务调用量 2014年11月 在国际物体分类挑战赛PascalVOC上刷新世界纪录 2015年4月 2017年3月刷新ICDAR2015 RobustReading Competition 在国际人脸识别数据集LFW上刷新世界纪录 2017年3月 2017年4月 在超大规模人脸识别数据集MegaFace中，在百万级别人脸识别测试中刷新世界纪录 在国际权威人体检测跟踪榜单MOT15、MOT17上获得世界第一 2018年4月 开源移动端推理框架TNN2020年5月 2019年9月 时序动作分析DBG算法在ActivityNet上获得世界第一 在全球最大通用目标检测数据集Objects365上获得世界第一 2020年12月 上海市科技进步特等奖 2021年5月 2021年10月ICCV2021 WorkshopLVIS实例 分割挑战赛第一 上海市科技进步 二等奖 FocusedSceneText文本检测纪录 2017年8月 在国际权威目标检测评测集MOT17Det刷新世界纪录 2018年10月 在国际权威人脸检测数据集WiderFace、FDDB上取得世界第一 2021年1月 在国际标准语义分割数据集ADE20K、PascalContext刷新世界纪录 落地场景：广泛覆盖多行业、多场景外观质检，自研计算光学技术，满足高精度和多机型需求 方案特点：整合了光、机、电、软、算的交钥匙方案，且质检数据可与MES等系统打通建立工业大数据 3C锂电 手机、平板电脑、笔记本电脑、手表等产品的金属部件及核心模组外观瑕疵检测 动力电池外观、密封钉、极耳翻折等锂电池外观缺陷检测 光伏 光伏组件外观缺陷检测 汽车 轴承、刹车片等汽车零部件、汽车玻璃外观缺陷检测 半导体 晶圆、芯片封装、PCB等半导体元器件缺陷检测 出货端 品质保障是否良品 综合判定 缺陷位置确认 检测能力 Detection 缺陷像素确认 分割能力 Segmentation 缺陷类型确认 分类能力 Classification 缺陷量化确认 量化能力 Quantitation 生产端 生产工艺改良 对缺陷进行位置、像素、类型、量化，决定是否为良品，从而达到品质保障，反哺生产工艺改良。 AI技术的优势：标准恒定，提质提效降本 检测能力：能不能 •场景多 •零件：结构及材质复杂，拍摄面上千，反光问题，多种光源相机组合 •缺陷：种类繁多、缺陷微小、形态变化随机 -外观型\测量型\有无型等 -脏污干扰严重，标准不清晰，存在模糊态 •要求： -过杀率 -漏检率：0%漏检 使用效率：快不快 •数据效率： -数据需求大，收集交付时间长 -部分缺陷占比低收集难，长尾效应明显 •模型训练效率： -单次训练时间长、训练占用资源大 -整个交付周期要多次训练 •模型推理效率：单图推理慢，推理机消耗大 •迁移换型效率：新产品型号、新场景 •非专业人员使用效率 1“检测能力”2 1个目标 语义分割 成像算法基础视觉算法 多图融合 图像对齐 光度立体 图像质量评价 图像分类 目标检测 “使用效率” •基于视觉AI算法为工业制造提质、降本、增效 实例分割 4大技术模块 •成像算法 •基础视觉算法 •高效视觉学习 模型微调/增量学习 带噪学习 3高效视觉学习方法 自监督/半监督/弱监督 小样本学习 域迁移 4通用视觉模型 缺陷生成 大模型能力 •通用视觉模模型 轻量化 3类应用场景 •3C •锂电池 •金属包装 目的 多模态大模型 通用数据生成 缺陷成像更明显成像位置更一致 缺陷检测更准确罕见缺陷不漏检 降低数据(标注/采集)成本 小样本学习 提升模型鲁棒性和迭代效率 视觉语言通用大模型大模型微调轻量部署 自监督/半监督/无监督 目标检测 图像分类 图像对齐 多图融合 数据模型 技术模块 基础增效 数据基础算法能力 轻量化 微调应用 带噪学习 域迁移 实例分割 语义分割 图像质量评价 光度立体 工业成像 基础算法高效部署 通用模型 发展趋势 全监督模型 少量数据下模型高效迁移迭代 少无监督模型 海量数据驱动下的无数据应用 多模态通用模型 / （大数据）（少数据）（无数据） 质检通用大模型支持任意模态提示的下游应用： 语言/图像提示问答：对话模式缺陷感知 语言/图像提示的文字生成：图像描述，小样本目标计数和检测 语言/图像提示的图片生成：文本描述缺陷图像生成 Image/image-prompt 视觉模态Encoder 感知Decoder 缺陷感知 Visualprompts Embedding模块 跨模态Transformer 图生文Decoder Thereisaminordefectontherightedgeofthescrew,whichappearsasascratch.Thetextureofthedefectareaishighlightedandclearlyvisible. 图像描述 ascrewwithablackbackground.Thereisaminordefectontherightedgeofthescrew,whichappearsasascratch…. textprompts 语言模态Encoder 文生图Diffusion 缺陷生成 LPM的设计：纯transformer生成式大模型架构设计，相比传统算法效果更好，范化性更强 统一输入范式：让模型可以理解不同自然语言的指令提示，引入图文融合，同时接受多个指令提示，针对特定目标感知； 统一输出范式：引入基于query的感知结构，解耦分类、检测和分割任务的输出，不同任务并行输出，先后依赖关系解除； SotA结构：最先进的Backbone、Encoder和Decoder等模块，参数量达10-100亿。 基于LLM同源范式，融合文本和位置的提示指令，统一基于分类、检测和分割的输出范式 权衡模型掌握的语义概念广度和目标定位精度，打造业界效果最好的感知模型 图片来自于优图实验室论文 新范式：基于公有云/私有化集群利用多场景数据打造质检通用大模型，并在应用时结合子场景数据实现模型快速调优 经典范式：烟囱式系统，项目之间数据/模型隔离 新范式：通用大模型，不同项目仅需小样本精调 模型-1 全量缺陷数据-1 模型-2 ⋯ 全量缺陷数据-2 模型-n 全量缺陷数据-n 子模型-1 小样本数据-1 项目应用-1 子模型-2 ⋯ 小样本数据-2 项目应用-2 子模型-3 小样本数据-n 项目应用-3 项目应用-1 项目应用-2 项目应用-n 质检通用大模型（MLLM） 挑战：数据需求大、换型成本高、项目周期长 优势：小样本/零样本、快速换型、快速应用 •待检测原图 •限度缺陷Prompt •文本Prompt •待处理原图 •目标区域Prompt •缺陷参考+文本描述 A：该样品表面有2条黑色划伤，与限度样品比，两条划伤的颜色更深，深度更深，根据指示的规则判 断，该样品为NG样品。 Q：示例小图为划伤的限度样本，颜色和深度均比它更深的是NG品，否则是OK品，请你检插待检测样本上是否存在达到NG标准的划伤缺陷？ OK/NG判定 缺陷生成 陶瓷制品外观缺陷检测 金属制品外观缺陷检测 布匹面料外观缺陷检测 PCB异常检测其他场景异常检测 … AI质检系统由光/机/电/软/算5大模块构成，腾讯聚焦于软件和算法，硬件由合作伙伴负责 软硬一体支持数据采集、标注、训练、封装、部署全链路 数据平台 工业质检训练平台 腾讯TIACC框架 数据标注 数据管理 算法方案 模型训练 异构计算 模型加速 封装 训练 数据 GPU服务器*N PPL调试 效果验证 数据存储系统 数据安全 数据分析 CPU/GPU/NPU 服务封装 服务加速 离线 数据上传服务下发 AOI设备 工业AI算法推理系统 部署 自动化 自动化控制 图像采集 推理服务 服务接口 服务请求/图片数据 共享存储 应用展示 结果后处理 策略配置 在 线结果 光学系统/电气/机械 设备伙伴 腾讯 GPU 训练端负责构建高精度工业质检模型并输出SDK，运营端部署在产线机台进行高性能推理和运维 模型训练 训练端运营端 缺陷统计分析 调试智能指引 数据标注模型训练模型评估 SDK部署 状态查看 一键部署 指标分析 设备状态查看 后处理灵活配置 加速封装 策略调整 区域屏蔽 **部署上可支持公有云、Windows单机、Linux集群等多种形态** 全流程产品能力覆盖，助力硬件批量验收、模型持续迭代、交付后业务运营管理 硬件接入管理 环节：产品： 硬件入场验收软件部署调试模型效果提升交付后用户使用界面 业务运营管理 AI模型管理 业务规则管理 角度一致性验证 ROI/Mask区域设定 指定点位训练 推理过程可视化 亮度一致性验证 点位阈值设定 Badcase训练 缺陷统计报表 清晰度一致性验证 判定规则设定 产品换型训练 节拍调整界面 差值分布一致性验证 模型/SDK一键部署 模型评测 硬件配置界面 常规项目x数百张图片 针对复杂度不高的常规项目（数十种缺陷、上百个点位），通过数千张NG图片实现有竞争力的指标，达到上机跑料条件，并进行针对性迭代直至最终验收 高难度项目x数万张图片 针对复杂度较高的项目（数百种缺陷、上千个点位、验收指标严苛），可支持多机多卡训练模式，通过数万张数据进行模型迭代，输出极致效果的模型 快速迭代项目x数张图片 针对难度不高的快速迭代项目（少量缺陷和点位，OK图特征稳定），仅需数张缺陷图片，通过弱标注或无标注、在数十分钟内完成模型迭代流程，高效响应产线需求 性能强大 内置腾讯自研工业质检算法，既支持大规模训练以应对复杂质检场景，也支持小样本评估以实现快速上线 TI-AOI 五大优势 通用性强 提供NG缺陷分类与分割精准面积，支持面积/长度/数量等规则定义，提供多材质x多模型方 案，适配市面主流产品质检 快速入门 零代码模型训练，智能化后处理调优策略，并可一键下发端侧部署 启动成本低 提供公有云、windows单机、linux集群等多种训练模式，无需额外硬件或通过利旧设备， 低成本开始您的项目 支持产品迁移 支持同一模型适配不同点位，支持老产品到新产品的高效模型迁移，降低换型研发周期与成本 方向 会议或期刊 文章 成像算法 AAAI2021 FrequencyConsistentAdaptationforRealWorldSuperResolution CVPR2021 LearningToRestoreHazyVideo:ANewReal-WorldDatasetandaNewMethod MM2022 JointLearningContentandDegradationAwareFeatureforBlindSuper-Resolution ECCV2022 ColorFormer:ImageColorizationviaColorMemoryassistedHybrid-attentionTransformer 基础视觉学习方法 CVPR2021 RethinkingSemanticSegmentationfromaSequence-to-SequencePerspectivewithTransformers CVPR2022 ISDNet:IntegratingShallowandDeepNetworksforEfficientUltra-highResolutionSegmentation CVPR2021 LearningDynamicAlignmentviaMeta-filterforF