胡文锐：数智融合创新命题成果

5G+AI工业质检创新产品专项成果分享 中国移动研究院 2023年12月 www.10086.cn 一 成果介绍 二 成果推介 三 案例推广 不同行业中工业AI质检解决方案定制化程度高，当前能力层面面临产品能力单一、标准化程度不足，无法覆盖多行业质检场景，市场层面面临推广难度高，解决方案中产线改造与算法可行性深度关联，一线人员无法独立售前推广等难点，需要一支技术与市场跨线条、跨组织的融合创新团队进行联合攻关 •产品功能单一：只有光伏、汽配检测能力相对成熟， 与业内厂商比算法能力单一 •算法迭代速度慢：缺乏可快速生成生产模型并交付使用的工具链，新场景开发周期过长，算法适配慢 •对生态依赖程度高：近三年省公司落地项目90%以 上靠生态交付，我方收益低 不足 成效 •实现市场规模拓展：已累计落地纺织、光伏、汽车、装 备制造等重点领域项目两百余个 •实现产品能力突破：5G大上行满足图像传输需求、移动云提供AI算力资源，人工智能平台 •实现产业生态牵引：联合多家产业生态打造有竞争力的 产品服务体系，有力保障产品落地交付 市场拓展初见规模产品标准化程度不足 定制化程度高 检测更换、产线改造对质检系统影响大 技术要求高 模型快速迭代，需与多类型硬件集成适配 售前要求高 与行业背景关联度强，解决方案需要技术支撑 人员投入要求高 多触点拓展、前期需POC，本地化集成交付 工业视觉质检产品的“四高” 需要一支技术与市场跨线条、跨组织的融合创新团队3 体系架构 攻关成果 边缘算力一体机 行业AI训练平台及模型管理平台 分发能力 训练一体机 浙江创新院 上研九天业务所 江苏创新院 成果1：云边端一体的工业视觉质检产品 基于研究院在星辰视界云边协同平台和人工智能训练平台的能力优势，联合上研院OnePower工业视觉质检产品打造了云边端一体的中移工业视觉质检产品；面向汽车、五金、光伏、锂电、纺织等行业打造了端到端的5G+AI质检解决方案，联合创新研究院、金华移动、北京公司完成应用落地 端侧推理应用软件 行业推理算法行业推理算法 （锂电池检测）（纺织花边检测） 行业推理算法 （五金保温杯检测） 行业推理算法 （汽车零部件及组装） 行业推理算法 （汽车轮毂瑕疵检测） 端侧软件 端侧推理能力（通用模型库、一键部署） 端侧算力硬件 算力一体机（现场级） 端侧算力硬件 工业质检管理平台 OnePower统一能力 （用户中心等） 配置能力 云边侧软件 算力一体机（工厂级） OnePower工业互联网平台 5G网络 API调用 应用下发 中移工业视觉质检产品 端侧 行业推理算法 （光伏） 行业推理算法 （冶金废钢定级） 行业推理算法 （包装） 云 /边侧 1.面向工业视觉质检通用需求，融合研究院、上研院已有能力，打造了基于云边端架构的一体化工业视觉质检产品 2.产品包含标注、训练、云边协同、模型部署、智能检测、数据分析等 端到端能力 成果2：行业算法模型，产品工程化落地 1.面向新能源光伏、汽车、五金、纺织、锂电等细分领域，打造了工业视觉质检模型 工业相机 工业光源 生产设备 高清摄像头 上位机 端侧（生态合作） 2.面向汽配、五金、纺织等细分行业，在浙江实现行业应用落地 工业质检能力仓 边缘平台 端侧节点业务管理 汽配五金… 轮毂质检保温杯质检 发动机质检齿轮质检 整车质检工具箱质检 ………… 端侧节点管理 节点接入 节点监控 节点升级 日志采集 能力管理 能力编排 能力分发 远程运维 任务管理 任务下发 批量管理 运行记录 告警查询 云边端消息 消息下发 消息上报 用户及数据管理 隐私计算 数据管理 用户管理 运营看板 可视化数据展板 共享算法/能力中心 工业质检平台 云存储中心 WAN 视觉能力下发、数据上报 MEC(UPF) MES系统 运营管理生产管理企业管理 武汉工厂 天津海外 工厂工厂 数据管理 运营看板 过站管控 资源监控 智能调度排产资源调度 金华工厂 边缘 云存储 基于星辰视界视频云边智能能力、视觉AI能力、智能分析盒子、产线改造升级实现云边端一体化工业视觉检测。结合5G专网，融合 工业视觉，以“管理（中心）节点+生产（端）节点”多级协同体系架构为基础，对接客户实际需求，满足各类工业视觉检测应用场景 全网中心(云) 厂区 （边） 边缘节点软件栈端侧工业质检模型转换 端边消息 视频图像接入 产线 设备控制系统 视图计算盒、一体机、计算网关基站算力设备 （支持x86/GPU/ARM/AI芯片） 采集计算集成设备 工业相机3D深感相机 电机控制机械臂控制 统一软件栈 （端） 5G专网+CPE、工业无线网、工业以太网 视觉能力、数据、任务、消息 行业 场景 缺陷 算法能力 组件EL检测虚焊、失效、断栅、黑团、黑片、隐裂等20+缺陷漏检率＜0.4%过杀率＜0.4% 光伏 组件外观检测脏污、异物、片间距异常、串间距异常等10+缺陷检测准确率>90% 汽配轮毂表面缺陷检测点状、线状、面状、边缘等4大类缺陷瑕疵检出率>95%，NG品检出率100% 装配检测铆钉、焊脚2类装配检测适配10+种不同版式，检测准确率＞99% 五金 保温杯表面缺陷检测针对镜面和磨砂材质，检测凹陷、突起、划痕等6类缺陷瑕疵检出率>95%，NG品检出率100% 率<10% 锂电池锂电池外观缺陷检测软划痕、硬划痕、电解液、凹点、凸点等13类致命缺陷6面外观缺陷检测，均检漏检率<0.1%，过检装备制造仪器仪表OCR试验设备仪表OCR检测准确率>99.9% 纺织针织带缺陷检测油污、毛边等6类缺陷检出率>95% 废钢定级废钢重型废钢、中型废钢、小型废钢、轻薄料废钢4类料型整车定级准确率≥93% 冶金 钢板表面OCR宽幅钢板表面OCR检测准确率>99.9% 矿山皮带检测皮带跑偏、皮带断裂、异物3类缺陷检测准确率＞97%烟草包装检测OCR、包装破损、封口检测检测准确率>95% 烟草 雪茄计数雪茄识别与计数检测准确率>99% 通用行业安全监测人、车、环境等20+视频类安全监测算法检测准确率＞90% ...6 面对五类客户场景打造面向光伏、纺织、汽配、包装、冶金等行业的五大系列产品族 软终端系列 光伏S-s1 纺织 S-t1 汽配 S-a1 五金 S-m1 包装 S-p1 场景一 标准系列 C-s1C-t1 C-a1 C-m1 C-p1 场景二 专家系列-入驻式 P1-p1 P1-m1 P1-t1 P1-s1 P1-a1 场景三 专家系列-云化 云 P2-t1 云 P2-s1 云 P2-a1 云 P2-m1 云 P2-p1 场景四 智能检测设备系列 智能验布机 场景五 旧产线改造，客户无IT团队，已旧产线改造，客户无IT团队，无 旧产线改造，客户有IT团队， 旧产线改造，客户有IT团 新增产线，入驻式部署 有图像采集系统与算力 图像采集系统与算力 AI应用平台入驻式部署 队，AI应用平台云端部署 一 成果介绍 二 成果推介 三 案例推广 •汽车产业是建设制造强国的重要支撑，从企业到国家都在积极推动供给侧改革，鼓励车企自主研发向数字化转型。轮毂作为汽车的 主要部件之一，全球约70%的汽车轮毂产自中国，国内轮毂市场潜力巨大 •五金生产企业开始注重产品的高品质、高技术含量，转型升级将成为未来行业发展的必然趋势。保温杯制造作为典型的人口密集型产业，正不断推进保温杯生产线自动化升级与改造 汽车轮毂 五金保温杯 •保温杯市场规模整体呈增长走势，2017-2021年期间全国保温杯市场规模由110亿元增长至172.2亿元，期间保温杯市场规模增量达到62.2亿元。预计2022年全国保温杯市场规模有望达到198.83亿元 保温杯行业龙头企业有：•富光（全国销量第一）•膳魔师（百年历史的全球知名高真空系列产品品牌）•哈尔斯（国内最具影响力的制造商）•匡迪（国内大型保温杯生产基地之一）市场预测：全国有保温杯生产企业8000余家，以每家1个点位测算，至少8000个点位 全球轮毂市场规模测算（亿元）•近几年国家相继出台《关于搞活汽车 流通扩大汽车消费的若干措施》，全面释放汽车市场潜力，更好满足汽车消费需求 •伴随着汽车销量的增长，全球轮毂市场规模稳步提升，预计到2024年将再次突破1000亿 全国范围内轮毂生产龙头企业有：•中信戴卡（中国大陆第一家铝车轮制造企业）•万丰奥威（规模实现了行业全球领跑，年产3500万件）•今飞（汽车轮毂第三、摩托车轮毂行业第二、电动车轮毂行业第一）•正兴车轮（轮毂十大品牌，国内大型车轮制造生产基地）市场预测：全国铝轮毂生产企业有300多家，总共约750个点位，以每个点位 150万的设备改造费用，市场总额达11.25亿元 质检需求 生产情况 检测节拍：人工检测每个轮毂需42秒，产线有3名质检工人并 行检测，平均每个轮毂检测时间不超过14秒 对涂装后汽车轮毂进行瑕疵检测，对点状、线状、面状、边缘 等4类21种瑕疵进行检测 缺陷类型 气孔、缩松 点状缺陷 （同色 点状缺陷（异色） 纤维（毛线） 振刀 黑皮 毛刺 台阶 粉包 流挂 杂质 橘皮 凹坑 划伤、擦伤（漆前） 划伤、擦伤（漆后） 打磨痕迹 喷涂不到位 白斑 铝屑打伤 锈蚀 色差 •汽车轮毂行业是汽摩配行业的重要组成部分，汽车轮毂多采用铝合金材质，生产过程中会出现各种产品缺陷，需要对涂装后轮毂进行瑕疵检测 •人工轮毂质检困局：人口红利消失，用工难、用工贵。人工在缺陷判别上存在主观差异、检查员视力疲劳等因素，产品的微小瑕疵并不能被高效识别，产品交付到客户侧后仍有5%的漏检 •轮毂视觉质检难点：汽车轮毂型号较多，尺寸多，缺陷类型复杂多样，涉及二十余种类型瑕疵。目前业界还没有成熟的算法符合上述所有情况，但是各轮毂厂商对于质检的需求相似，项目具有较强的可复制与可推广性 产品范围 涂装后汽车轮毂，每天约7-8种型号，每月约20-30种，分全涂装/精车亮面，深色（黑色、灰色）为主，表面反光较为强烈 涂装后汽车轮毂外表面瑕疵类型 气孔、缩松（点状）漆点（点状）毛刺（边缘类）划伤（线状）白斑（面状） 10 •结合传统机器视觉、目标检测、无监督学习等方法，实现高效率、高精度、快速迭代的质检算法方案 •单个轮毂系统处理时间<14s，模型瑕疵检出率>95%，NG产品检出率100%，超出人工水平，满足客户生产节拍和检测精度需求 轮毂质检算法研究成果及性能 机器视觉 质检算法 轮毂瑕疵数据集 针对视觉特征明显的缺陷类型，结合光照设计与传统机器视觉检测算法，基于形态学分割、边缘检测等特征增强与提取手段，实现无需样本训练、低硬件需求、动态可调的质检算法，实现方案快速上线与迭代优化 金属表面瑕疵 数据集 数据集：在实际产线采集轮毂面图像数据1.3万余张，19种轮毂型号，覆盖21种瑕疵 深度学习质检算法 面向不定产品类型、非统一光照视角下的不同产线质检需求，针对极小区域、肉眼难辨等缺陷类型，建立轮毂瑕疵与金属表面瑕疵数据集，训练深度目标检测及无监督异常检测网络，并针对边端侧硬件优化加速，满足方案实时性、复用性要求 1 检测指标 多类型混合缺陷检测模型 检测节拍 14s/个 瑕疵检出率 95% 误检率 10% 检测精度 1mm2 0.8 0.6 0.4 0.2 0 0.4 0.5 3 0.7 3 0.95 RecallPrecision 4 0.87 现有产线（OK通道） 视觉检测设备 现有产线（NG/返修通道） 现有产线 （NG/返修通道） 现有产线 （检测通道） 型号识别及取封堵设备 方案优势 柔性 基于6轴机械臂的柔性设计可兼容不同样式的轮毂产品检测 智能 配合组合光源高效解决多曲面产品检测的行业难题 全检 基于智能工业平台算法适用于轮毂所有 表面多缺陷外观检测 高效 两套视觉工位同步高速飞拍，充分满足企业14s检测