GLM大模型：场景落地的探索与实践

GLM大模型：场景落地的探索与实践 智谱AI解决方案架构师孙万礼 关于智谱AI 愿景 让机器像人一样思考 市场理念 ModelasaService 经营情况 研发人员占比70% VQVAE 智谱AI全自研模型架构-GLM 10B的参数量的WebGLM 性能逼近175BWebGPT 获得十倍的效率优势 60 Human-Level 50 40 30 本项目方法 20 10 0 WebGPTWebGPTPreplexity. （13B）（175B）ai WebGLM （10B） 输⼊⽂本： Cat 输⼊图像： 图像Tokenizer 离散化 ⽂本Tokenizer 平铺 20*20=400Imagetokens TextToken ImageToken…… …… ImageTokenImageToken x0x1 x5 Transformer … 预测⽬标： COCO、VQA等14项国际多模态测评 10项第一、4项第二 多模态预训练框架 x7x8 x3x4 x6x7x8 x2x3x4 采样掩码区域 [BOI] 全自研模型架构-GLM(自回归填空训练架构) MMLU、LAMBADA等国际测评超过GPT-3,OPT,PaLM 自回归填空预训练架构 智谱AI已建立 全自主、多模态、高可用的千亿级大模型完整技术体系 GPT-4V图片理解 CogVLM图片理解 ALLToolsGP GPT-4 Ts GPT VS GLM GLM-4 AllToolsGL Ms Sora CogVideoX ChatGPT对话 DALL.E文生图 Codex代码 WebGPT搜索增强 ChatGLM对话 CogView文生图 CodeGeeX代码 WebGLM搜索增强 全面对标OpenAI产品线 智谱AI大模型产品矩阵 多模态大模型 多模态系列模型都经过大规模预训练，能理解图片属性、场景和画面风格，可生成 真实、独特的高质量图片和视频。 CogVLM 图生文 CogView 文生图 CogVideoX 文生视频 CogVLM-Video 视频生文 语言大模型代码大模型 ChatGLM系列模型，支持相对复杂的自然语言指令，并且能够解决困难的推理类问题。 GLM-1.5B 端侧模型 GLM-3B 端侧模型 GLM-4-9B 开源 GLM-4-flash 最经济 GLM-4-air 最具性价比 GLM-4-airx GLM-4-0520 CharacterGLM 高性能 最新旗舰 超拟人对话模型 CodeGeeX系列多编程语言代码生成大模型。 CodeGeeX-4-std CodeGeeX-4-pro CogView效果展示 CogVLM效果展示 CogVideoX效果展示 文生视频 图生视频 GLM大模型多场景赋能 能源制造 ■工业知识问答 ■工业质检报告生成 ■智能工单处理 ■智能产线故障检测 ■流程合规助手 ■智能交互终端 ■市场分析报告生成 智能汽车 ■智能驾驶座舱 ■客户标签提取 ■销售金牌话术分析 ■销售话术陪练 ■营销话术质检 ■智能客服 ■售后坐席辅助 医疗健康 ■AI营养师 ■智能导诊、在线问诊 ■报告解读、病历录入 ■医学信息解锁 ■康复计划生成 ■医嘱质量监控 ■AI回访 金融证券 ■金融数智营销助手 ■员工金融数智知识助手 ■财务早报生成、研报咨询总 结 ■信贷风控报告审核 ■定期财务报告生成 ■智能投研报告 消费零售 ■广告文案生成 ■消费者数据分析 ■新品研发调研报告 ■智能购物推荐助手 ■消费者评论摘要 ■智能客服 ■销售学习助手 文化旅游 ■旅行日程编排 ■租车推荐助手 ■景区客服、酒店客服 ■随身导游APP ■景区智能导览 ■游记辅助写作、照片生成游记 ■旅行社宣传文案撰写 游戏娱乐 ■自动生成剧情、任务、角色 ■自动生成场景图片 ■更真实自然的互动NPC构建 ■对话类游戏如狼人杀AI对战 ■网友互动问答 ■游戏社区运营 ■宣传文案生成 通用办公 ■会议纪要生成 ■周报生成、报告生成 ■新闻资讯收集整理 ■多语言智能翻译 ■企业内部知识问答 ■简历信息抽取 ■智能人岗匹配 通用大模型场景落地的技术路线 LM+Prompt LM+RAG LM+SFT/Lora LM+Function 借助大模型通用能力+提示词要求，即可达到很好效果的场景 通过RAG，将大模型和私域知识库结合，实现私域知识问答 通用大模型不能满足特定场景需求，需要微调训练才能满足要求 通过大模型functioncall，实现与现有系统API打通 大模型+prompt案例 垂直领域内客观题得分 GLM (75分） 某头部模型(69分） Vs 大模型+RAG案例 企业内容知识问答系统 问题 样例问句 基础知识定义、原理、特点、性能等Q：LCD显示技术原理是什么？ 理解分析 区别、优缺点等 Q：LCD和OLED哪种技术更节能？ 设计预测指导 完整设计方案、解决方案 Q：请问如何提高ASLCDTFT的强光稳定性？ 零样本 与训练集中知识无关的问题 Q：全息显示的原理是什么？ 本地私有化部署 ChatGLM 行业知识库、领域相关 论文、生产工艺说明 挑战 “老带新”的人才培养模式 培养周期长、成本高。 需要一套领域专家知识库和智能问答系统，实现企业知 识资产沉淀和价值变现。 通用搜索引擎无法满足在显示面板制造等专业领域知识 收集查找相关需求。 垂直领域内主观题得分 答题质量 接近从业5年以上的行业专家水平 技术人员 一次性输出符合品牌调性的文案10+篇 50% 解放文案工作 15% 降低成本 部署模型：ChatGLM-130B 部署方案：本地化部署+微调服务微调数据：5000条数据，如：品牌、 产品、广告文案 广告文案生成 所有广告编写都需要由专业广告编辑编写，人力成本高，效率低 输入品牌、产品等信息，自动生成产品广告文案 产品信息收集 销售在收集、整理广告主体的产品信息工作量大，信息不全面 自动整理产品基本信息，提高工作效率 大模型+SFT案例 大模型+Function案例 业务场景 •菜品推荐：大模型根据5轮对话，抽取关键词并调用搜 推引擎，最终由搜推引擎给出菜品推荐文案 •闲聊：当用户意图不是菜品推荐时，可与用户进行聊天 大模型功能 Functioncall： 调用客户菜品搜推引擎，输入菜品推荐关键词 闲聊： 用户的意图不是寻求菜品推荐时，可以基于大模型能力与用户聊天 Q：家常炒菜晚餐 A：好的，我为您推荐几个家常炒菜晚餐的店铺和菜品。 1.首先是杨铭宇黄焖鸡米饭(公益西桥店)，他们的黄焖鸡米饭和木须肉既下饭又美味。 2.其次是麻辣烫火锅超市(芍药居店)，他们的热炒茄子和四季豆炒肉也很受欢迎。 3.最后推荐您一家高评分的家常菜馆—大饼炒菜(望京店)，他们的京酱 肉丝炒饼和家常豆腐都是人气商品。 Q：第二家的评价如何？A：麻辣烫火锅超市"4.5分" 输入 解决方案 用户query 系统1 历史对话拼接 Agent 闲聊 系统2 客户菜品搜索系统 function1 function2 … 产业化落地 2000+家生态合作伙伴1000+家规模化应用200+家深度共创客户 国家机构合作 战略合作 企业合作 国际合作 智谱AI 让机器像人一样思考 TeachingMachinestoThinkLikeHumans