2024华为云客服AI助手的大模型实践与思考

此图片为AI生成 Aboutme–郑岩，from华为云BP&IT团队 •山东人@深圳 •4年SAP，9年华为 •华为云数智使能团队负责人 •AI+知识+数据+TA •终身学习者 2 通过本次分享，你可以了解到： •华为云客服AI“养成之路” •华为云客服AI落地过程中，遇到的“三道坎”及解题方法 •在企业中应用AI大模型的“避坑指南” 目录 1.探路篇：华为云客服AI助手工作复盘 2.避坑篇：在企业内部应用AI大模型的思考 随业务量增长，坐席人数线性增加 痛点1 华为云客服业务背景：最重要的客户触点之一，如何持续提升用户体验和问题闭环效率？ 客户 官网智能客服 客服坐席 SRE 1.坐席专员流失率高，经验沉淀困难 2.业务复杂、变化快，赋能周期长 痛点2 5 客服业务的技术演进历程：期待能够面向客户和坐席，提供更“有用”的客服AI助手 阶段1：2017~2019年 核心诉求：业务作业过程线上化 作业数字化 •工单处理线上化 •官网智能客服（QABot） •知识库建设 阶段2：2019~2022年 核心诉求：借助知识及“传统”AI手段，沉淀经验资产，提升人效 阶段3：2023~（探索中） 官网智能客服升级|客服坐席AI助手 核心诉求：AI大模型驱动生产力跃迁 6 客服AI助手的“养成之路”：跨过“三道坎”，依然还在路上… NOW：最新模型，客服AI助手方案沉淀，孵化AICore，复制到SRE、营销、SMB辅销 81% •覆盖客服全员，组建客服AI运营团队 阶段⑤：盘古38B+提示词工程+RAG+人工标注+SFT微调+作业即标注Plus+AI萃取经验知识+持续运营 问题：日调用超100w次，资源和性能瓶颈凸显，如何高效使用资源？如何解决复杂问题？ •落地DataGrounding、多模态解析，探索语音场景 68% 阶段④：盘古11B+提示词工程+RAG+人工标注+SFT微调+作业即标注+AI萃取经验知识 问题：部分产品存量知识不够，冷启动效果差、周期长 •客服AI助手融入作业流程，AI萃取历史工单经验 •客服AI插件版上线，试点团队推广 •认证AI训练师，发布AI标注规范和流程 48% 56% 第③道坎： 如何让AI能力持续提升？ 阶段③：盘古11B+提示词工程+RAG（向量索引）+人工标注+SFT微调 问题：人工标注效率低、标注质量差，谁来标、谁来检？ •联合EI服务，早期试用CSS向量索引及盘古大模型SFT能力 阶段②：盘古11B+提示词工程+RAG 问题：模型能力不足、上下文过短、关键词检索不准 •联合EI服务，早期试用盘古大模型 阶段①：POC，盘古11B内测，直接作答 问题：通用大模型不理解垂域知识、信息安全如何保障？ 2% 17% 第②道坎： 如何让AI飞轮“低功耗”转起来？ 第①道坎： 如何让AI大模型能“做事”？ 72023.032023.052023.072023.092023.112024.Q1 ①让AI大模型能“做事”，当前仅靠简单的R+A+G还远远不够，还需要3个关键配套 1、RAG是当下性价比最高的LLM落地方案， 本质上是一种工程化“代偿”方案 Source:codeconductor.ai 2、但是，RAG搞Demo容易、落地 难，还需要几个关键配套 •配套1：工程化实现 •配套2：企业知识管理 •配套3：全链路监控/评估 8 附：RAG工程化实现方案，初看是搜索，越做越是Agent … 官网案例 资料/wiki ①自动 客服坐席 原始问题 上下文 补充 意图理解 +盘古 融合搜索 +盘古 优质QS 向量知识湖 知识语义化&切片 +盘古 Y：输出标准答案拦截 N：输出TOPN知识片段 开卷问题解答 +盘古 标注、反馈 9 BadCase分析 知识整理后，入知识库 经验 ②只有让AI飞轮“低功耗”转起来，才能让“AI养成”这个游戏持续的玩下去 •企业场景用户量有限（k级），反馈率极低（<5%）；拿不到足够的反馈，就无法支撑AI持续迭代，怎么破？ 客户 提出问题 接收答案 AI循环 AI作答 冷启动 作业循环 AI检索增强RAG AI模型微调SFT 标注 人工坐席 作业即标注 AI答的差× AI答的好√ 知识 AI训练师 修改AI结果后发给客户 直接发给客户 资料团队、知识运营 坐席作答过程记录 我们的解题思路：“作业即标注”，重新设计作业过程，将AI反馈流程与作业流程融合，以驱动AI飞轮 10 ③持续提升领域AI大模型能力的“秘方”是什么？ •如何让AI大模型的能力提升符合预期：理解垂域知识，执行垂域任务，有更多数据和算力来持续投入训练 业数据 企业/行 增量预训练 场景指令数据 通用指令数据 我们的解题思路： L0.F L1.F L1.C L2 SFT SFT 1、一套企业级的L1大模型 •集中资源和精力，打磨一个“懂行”的企业级L1基模型 （也可能是开源的行业大模型） 2、深刻理解数据，才能持续提升数据质量 •对训练数据集建模，本质上是在对业务任务建模（尝试弄清楚AI到底缺啥数据？缺多少？--“实习生测试”） •持续改进训练数据和提示词（多看数据+评测体系） •不断research（当然，得先做search） 11 客服AI应用试点情况：过去一年时间，在AI辅助下，工单平均处理时长下降35.11% 12 13 1.AI评测上线 2.大小模型编排 3.SAL治理 最终，你会发现：AI大模型落地不仅仅是IT挑战，还是一场业务变革… 华为AI变革“3层5阶8步法”：以业务价值目标为牵引，流程+组织+数据+IT，端到端变革 层一 重新定义智能业务 第一阶：场景 ①明确目标 1.生产力、竞争力和客户体验提升 2.防控关键风险与安全 3.提升业务效率降低成本 1. 2. 3. ②场景识别 识别高能耗点 业务数据技术三个准备度评估 机会点优先级选择 第二阶：流程 ③重塑流程 1.业务流程重构 2.信息流设计闭环，作业即标注 第四阶：数据 ⑤数据和知识工程 第三阶：组织 ④组织变革 •业务专家 •数据专家 •技术专家 •数据工程师 •知识工程师/专家 •提示工程师（初阶） •AI训练师（中高阶） •AI研究员（高阶） •作业人员具备AI初阶技能和数据工程师 •业务专家向AI高级训练师和Kmer转变 层二 AI开发与交付 第五阶：IT ⑥AI建模与发布 初阶：模型选型，Prompt 中阶：微调，外挂知识库，Botmaker高阶：AI数据集，领域模型训练 1.高质量数据的采集清洗转换 1.获得反馈 2.对数据和知识刷新和修正。 3.对模型持续校准和训练 ⑧AI持续运营 2.模式数据集的专家撰写和扩增 层三 持续运营智能应用 第五阶：IT ⑦AI融入业务应用 目录 1.探路篇：23年AI辅助华为云业务工作复盘 2.避坑篇：在企业内部应用AI大模型的思考 思考：在企业中应用AI大模型的几个“坑” 1.AI大模型的“代偿”一时爽，一直“代偿”能一直爽吗？ 2.我的IT团队能“适应”AI大模型应用时代吗？应该从哪儿开始搞起？ 3.AI大模型应用到底是“+AI”还是“AI+”？ 15 沿着AI大模型的第一性原理，一切才刚刚开始，别在AI大模型前进的车轮下“绣花” OpenAIGPT GoogleGemini Source:Models-OpenAIAPI Source:Gemini-GoogleDeepMind AnthropicClaude Source:Claude\Anthropic Srouce:《BIGIDEAS2024》byARKInvest 16思考：AI技术“大变局”下，哪些是不变的？--更快、更准、更长、更便宜、更多模态 因地制宜，选择合适的“游戏模式”，组建GenAI应用团队，与AI大模型共同成长 三种“游戏模式”，该选哪个？ GenAI应用团队与传统IT应用团队差异很大 •面向AI大模型的应用设计和开发 •人才第一、数据第二、算力第三（英雄出少年，关注优秀GenAI团队的构成） 3 2 1 业务BA AI训练师 （评估/标注） ITSAAISA （AI加持的解决方案） Source:byBijitGhosh|Medium IT产品经理 IT产品运营AI助手运营 （运营AI助手&AI训练师） ITSEAISE （提示词工程/算法/训练） 思考：与传统IT团队人员配置差异很大；从应用角度，用好ICL，辅以SFT，按需做增量预训练，是不错的选择 17 以终为始，用“AI+”思想设计，以“+AI”来逐步改变，当下正是“春耕时节” Source:SpaceX-Missions:Mars 思考：当下是与业务建立统一认知、组建团队、练兵的好时机；应当甄选“好”场景，小处着手，低垂的果子先摘 18 TAKEAWAY：春耕时节，大处着眼，小处着手 •我们的“探路”报告 ①为了让AI大模型能“做事”，RAG有用，但远远不够，需要三个配套（工程化实现、企业知识管理、全链路评测） ②为了让AI飞轮“低功耗”转起来，重新设计业务流程和IT交互，让AI大模型融入作业（“作业即标注”） ③为了持续提升领域AI大模型能力，需要建立企业级L1，并对训练数据建模，以改进数据质量 ④加餐：企业AI变革的“三层五阶八步”方法论（以业务价值目标为牵引，围绕组织、流程、数据和IT的变革落地） •我们的“避坑”指南 ①AI大模型未来会“更快、更准、更长、更便宜、更多模态”，别在前进的车轮下“绣花” ②组建GenAI应用团队，从应用角度用好ICL，辅以SFT，按需做增量预训练 ③甄选“好”场景，小处着手，低垂的果子先摘，当下是非常好的机会窗来储备 19 Thankyou. 谢谢大家！ 期待共同交流、成长~ wx:关山的月儿 把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界。 Bringdigitaltoeveryperson,homeandorganizationforafullyconnected,intelligentworld. Copyright©2018HuaweiTechnologiesCo.,Ltd.AllRightsReserved. Theinformationinthisdocumentmaycontainpredictivestatementsincluding,withoutlimitation,statementsregardingthefuturefinancialandoperatingresults,futureproduct portfolio,newtechnology,etc.Thereareanumberoffactorsthatcouldcauseactualresultsanddevelopmentstodiffermateriallyfromthoseexpressedorimpliedinthepredictivestatements. Therefore,suchinformationisprovidedforreferencepurposeonlyandconstitutesneitheranoffernoranacceptance.Huaweimaychangetheinformationatanytimewithoutnotice.