AI及大模型应用场景实践
AI及大模型应用场景实践 叶国宇 腾讯云智能高级解决方案架构师 人工智能全球科技竞争激发中国产业新机遇 百模大战 爆发 166个 工信部备案 的大模型 算力经济 崛起 30% 我国算力总规模 近五年年均增速近 新质生产力 涌现 第一位 2024年政府工作 十大任务 资料来源： 中华人民共和国中央人民政府网站国家网信办 2024政府工作报告 人工智能技术在工业制造业的融合渗透 人工智能技术整体正加速向工业、制造业领域渗透： 人工智能技术向各行业落地，工业企业为重要战略方向。 工业企业人工智能空间大，场景丰富，增速40%以上，规模大。 企业人工智能人才增长，投资建设项目增多。 面对AI加速发展，技术渗透，人员、项目数量增长带来的相关问题，各主要工业企业，开始规划建设AI中台，提升整体AI治理，有序管理，降本增效。 人工智能的应用把企业数字化推向新高度 通过大模型实现企业知识的有效变现 大模型 通过决策智能体实现企业最优决策 以人为本的统一便捷交互界面 业务领域应用APP 管结果管过程提收益 各业务处理中心系统 线上化 信息化 通过信息系统及集成构建围绕业财一体化的管控体系 智能化 增强业务执行效率与透明度 模型驱动的基础能力 通过闭环数据驱动实现智能辅助决策，获得持续发展 支撑业务运营的各类型服务“模型”基于业务逻辑的“数字虚拟企业模型” 智能孪生网络 决策智能体/大模型/其他各类模型…… 业务领域处理平台 通过大模型模式收集与“人”相关数据 大模型 通过APP拓展业务场通过物联方式直接获 景数字化范围取“设备”相关数据数字化强弱程度 数据汇聚/治理与数据驱动平台 大模型SaaS服务 大模型定制服务 （7B，7B-MoE，13B， 70B） 大模型应用APaaS （AI助手/知识引擎） 大模型开发管理平台（Ti） 大模型工具增强服务SaaS （腾会助手） 大模型基础设施服务工具 （对象存储/分布式云……） 腾讯混元大模型体系各类模型和模型服务 混元已接入700+腾讯内部业务，实现技术与应用同行 腾讯大模型实现了从基础设施到模型构建的全面布局 模型 生文 生图 生视频 生3D 基建 算力 平台 腾讯Angel机器学习平台 生成式人工智能在企业应用的四个方向 业务价值革新 业务内部流程 外部用户体验 业务流程增强 产品设计助手 人工智能在制造业应用场景塑造 制造 运营效率提升 客户体验提升 业务流程重塑 智能需求分析 与产品迭代 维修知识助理 智能订单处理 与跟踪 智能故障诊断 与预防 数智人直播 新材料发现 产品咨询助手 设备巡检 生产数据分析 物流路径优化 智能采购与库存管理 知识管理平台 智能排产 以大模型技术为核心，人工智能成为数字化发展的关键动力 中国10亿参数规模以上大模型数量已超100个 超过60%的中国企业计划在未来12-24个月内部署GenAI 客户运营、营销和销售、软件工程和产品研发四大场景最受期待 国产 信息技术融 合创新 端侧大模型 国产大模型应用进入深水区，仍有广泛研究空间 跨模态理解与生成 企业存在密集的知识服务场景 企业应用角色 企业问题场景价值 系统落地效果 知识问题解决率 服务对象与场景 数据管理系统 模型开发与训练 模型推理与服务 应用系统集成 知识服务构建企业知识沉淀 人力、财经、IT服务物流仓储采购与供应链市场与行业产品研发设备维护 需求与方案积累 日常办公流程 设备运行数据 复杂表格文件 操作流程规范 说明书、规格文档 行业文档分析 基于LLM+RAG框架，做深做透知识服务全链路能力 1 1、图文混排文档 2、结构化表格 •8种元素:段落、表格、公式、图标等； •算法能力：版面分析、元素排序 3、流程图 4、多列混排文档 2 •覆盖论文、杂志、说明书、试卷、海报、PPT... 1 知识解析 2 知识切分 •OCR解析大模型准确率提升25% •通过长文本大模型对文本进行多级语义拆分（标题、副标题、段落等） 4 模型阅读理解&答案生成 3 知识检索 •深入上百个客户的应用场景，亿级行业数据针对性训练 •Embedding模型从512字提升到4k，支持多套检索策略 •业内首个的长文本切分大模型，比传统切分方式准确率提升x% •将OCR识别的标题提供给切分模型，进行多级切分，避免语义截断，提升检索及阅读理解准确率 场景 能力 用户问题 2.使用向量关键词混合检索策略、表格文字混合检索策略等，提升模型在多场景下的应对能力和鲁棒性 端到端问答 数字问答 操作步骤问答 “债券增强1902理财产品我持有了190“智能钥匙怎么使用？”天，赎回手续费是多少？” 表格问答 推理比较 “我想在南山西丽街道组每月每平方60元“标准版和旗舰版差多少钱？” 左右的办公场地，有什么推荐” 模型名 最大长度 测试集准确率 腾讯云智能 73.09 OpenAI 8192 52.00 友商Z 512 70.54 友商A 512 72.49 友商W 512 63.66 某车企汽车手册智能问答助手 产品示例 1 一键导入汽车使用手册 2 大模型自动提取FAQ对 3 人工校验入库 4 大模型问答API调用 客户诉求 汽车功能使用问答和自助排障 汽车手册复杂，知识冷启动慢 传统机器人不智能，应答效果差 车企知识维护成本低 通过文档解析和切片，减轻客户的知识整理成本 需要跟传统机器人结合 大模型增强，传统机器人无法回答时，大模型对汽车专业词汇精准理解回复 难点：文档庞大，图文混排复杂 •材料数量庞大：有近50款车型，每款 车涉及「使用说明书」「驾驶指南」 「保养手册」，合计几百份材料。 •手册混排复杂：每份手册一百页至几百页，涉及大量图文组合。 •C端问答要求严谨：客户也担心幻觉率影响客服对话体验。 价值：问答准确率：35%->84% •答案出图率提升：模型出图率0%->70%。（gpt-4出图率20%） •知识构建成本大幅提升83.3% 之前人工梳理单个汽车手册形成问答对至少需要30人天工作量，现在用大模型只需要5人天，预计每个手册知识梳理至少节省了25人天工作量，知识构建效率提升83.3% •已有2款车型接入使用，覆盖车主用户数百万 多模态大模型助力工业场景理解智能化升级 在行业多模态大模型落地过程中，基于大模型的专家模型生产与精调思路，腾讯通过L0→L1→L2三个层次，提升新需求支持效率 以电网巡检场景为例，一个L1电网大模型优于12个客户小模型，绝缘罩脱落(极小目标)功能经L1迭代出L2专家模型后指标进一步提升 L2 专家模型 ... 电网大模型 绝缘罩脱落 市政清洁 行车安全 定向优化 L1 行业大模型 交通大模型 市政大模型 MLLM 行业数据适配 L0 基础大模型 LPM AI训练平台 设备管理 •设备状态信息 •设备运行效率管理 •设备维修时长监控 厂务安环防管理 •通道障碍物提醒 •危险区域人员禁入管理 •明火/烟雾识别 设备监测 •仪表读数和状态动态监测 •电气柜、机柜状态动态监测 •设备和管道跑冒滴漏隐患预警 工业AI巡检助力现场智能化管理 人员管理 •人员在岗时间管理•人员行为规范管理 生产合规管理 •人员穿戴合规管理（医疗，电子行业） •危险行为/不规范行为监测 •人员穿戴安全装备（危险行业） 产线节拍效率 •单工序时间统计 •产线工序效率优化 •产线产出数量计数 多样的工业AI巡检场景 危险区域检测 安全帽检测 锈蚀检测 烟火检测 口罩检测 脱岗检测 睡岗检测 打架检测 输电线异物检测 设备破损检测 非法施工检测 违停检测 野外作业检测 物品遗留检测 物品搬移检测 反光衣检测 吸烟检测 人群密度检测 登高作业检测 液体泄漏检测 多样的工业AI巡检场景 施工孔洞防护 顶层作业平台(安全主绳) 顶层作业平台 作业平台厅外安全带挂点 制造业各行业存在大量的质检需求 •金属中框 •无线充模组 •摄像头支架 •摄像头模组 •外壳-logo面笔记本 •外壳-键盘面 •SIMTrayPhone •锂电池包 Watch •金属外壳 Pad•金属外壳 制造业各行业存在大量的质检需求 极片缺陷示例焊接缺陷示例电芯缺陷示例 基于工业AI平台对系统、算法、指标、人员进行有效管理 生产设备 自动化缺陷检测设备 全检抽检 OKOK 人工检测 裂纹裂纹 下一道工序 生产工艺 工业相机AI判定分拣 缺料其他 人工复判 指标要求 •漏检（裂纹）<0.02% •漏检（其他）<0.6% •过杀<20% 缺料 其他 实时推理数据上报 Badcase迭代 工艺改进 过杀区域屏蔽 工业AI平台 Thanks
