智能质检白皮书（2023）

目录 一・、质发检展业务趋的势4个：主A要I发语展义阶段质检04 •为什么说“AI语义”模式是未来趋势？ •基于深度学习的“AI语义”模式的优势 •“AI语义”模式的技术原理 •基于“大模型”的新一代解决方案 二・、“新关实键词践+：正则双”模模式质的检适配·场·景10 •“AI语义”模式的适配场景 •“双模”质检，各司其职 三、新实践：流程质检14 •什么是“流程质检”？ •流程质检的常见使用场景 四、企业微信质检18 •离线质检：企业微信需开通“会话存档” •实时质检：支持PC客户端和手机客户端 •微信质检的常见问题FAQ 五・、关C联o质m检p：l全ia面n提ce升“产多品通七会话大”亮成组点质检··的·能·力22 •流程质检：灵活配置，适配各种复杂业务场景 •自定义字段：让质检与业务结合更紧密 •会话详情页改版：提升用户体验 •一键对接质检工单系统：快速在线生成质检报告 •10000+质检业务模板更新：可即插即用 •全自研核心AI技术：保障更高检出率、更快优化能力 六・、实保践险一：行从业“关的键实词”践升·级·到·“··一·段·话·的·语··义·”·30 •实践二：引入自定义字段和复杂流程&逻辑配置 七・、银多行行：中业信案银行例35 •保险：大都会人寿 •证券：招商证券 •教育：火花思维 八、质检项优化41 …………<一<<、<<未来趋势：AI语义质>>>检>>………… 市面上有很多面向销售和客服人员的语音、文本质检系统，其他绝大部分产品使用的是基于“关键词+正则表达式”实现方式。由于漏检和错检问题严重，单纯地依靠这类质检方式，越来越难以满足企业的实际需求。 -4- -5- 质检业务的4个主要发展阶段 很多企业拥有中大型电销或客服中心，每天与客户产生成千上万次沟通。沟通的质量，决定了企业的收入或客户满意度。企业监督业务人员的沟通质量和执行力的过程，被称为质检。 在未引入机器质检（系统质检）之前，以呼叫中心场景为例，质检人员只能依靠人工抽听录音的方式进行质检，后来企业引入“语音转写”技术，质检员可以边听边看，效率得到提升。 引入初代的机器质检系统之后，通过设置关键词和简单正则质检项，机器可以帮助质检员做一轮全量的初筛，质检员则复检机器质检的结果。 人工抽听 人工+抽听 语音转写 （关键词+简单正则） 机器初质代检 （复杂正则+AI语义） 机新器一质代检 5%左右 100% 质检覆盖率 引入新一代机器质检系统之后，机器可识别上下文语义，帮助质检员更快更高效地找出所有违规对话。 -6- 为什么说AI语义模式是未来趋势？ 市面上有很多面向销售和客服人员的语音质检系统、文本质检系统，绝大部分产品实际使用的是基于“关键词+正则表达式”的机器质检系统。 这种方法的主要优点是部署和上手使用都比较快，主要缺点是存在非常严重的漏检和错检情况。就像一个漏孔很大的筛子一样，难以满足企业对质检的需求越来越精细、对质检效率要求越来越高的发展趋势。 因此，在“关键词+正则表达式”之外，我们开始越来越多地为 客户提供基于深度学习模型的AI语义方案，并且在实际使用中能够多发现2~10倍的问题。 “关键词和正则的方法，难以满足企 效率要求越来越高的发展趋势。" 业对质检的需求越来越精细、对质检 对于企业而言，采用“AI语义”方案意味着他们可以全面地提升服务质量或者实现合规升级。 -7- 基于深度学习的“AI语义”模式的优势 语音和文本质检的主要任务是找出业务人员“说了什么不该说的内容”或者“该说的什么内容没有说”。前者通常被称为负向质检；后者通常被称为正向质检，企业可以设置为“做得不好就减分”的惩罚制，也可以设置为“做得好就加分”的奖励制。 传统基于“关键词+正则表达式”的产品做质检，所遇到的最主 要问题是“找不全”，通常会漏掉很多不合格、不合规之处，导致质检效率大打折扣。 看一个实际对比的例子。某互联网公司的基础质检项“服务态度问题”，在我们的实际应用中：使用传统“关键词+正则”方案，一天的数据中能找出13条，100%是正确的；使用新的“AI语义”方案，能找出134条，其中78%是对的。从最终结果看，新的“AI语义”方案多找出了8倍的问题。 原因其实很简单。如果使用基于“关键词+正则”的方案，方法 是用关键词的组合来涵盖每个质检项的不同表达方式——但是你可以写10个关键词，100个关键词，却永远不可能穷尽，因为语言的表达方式是非常多样的、千变万化的，必须通过整个句子的上下文语义才能做出更准确的判断。 “服务质态检度项问题” 系统找出量 （一天） 正确率 问题检出量 问题检出率 传统关键词+正则方案 13条 100% 13条 1x 新一代AI语义方案 134条 78% 104条 8x -8- “AI语义”模式的技术原理 AI语义方案，目标是训练一个深度学习算法模型，使之能够判断关键词未覆盖的句子是否命中了质检项。我们以另一个贷后资产管理领域常见的质检项“暴露客户隐私”为例。从标注到训练模型，再到最后上线使用，“AI语义”方案大致分为三个步骤。 第一步，使用我们的“标注工厂”产品，通过人工的方式，将是“暴 露客户隐私”的句子标记为“正例”，将不是“暴露客户隐私”的句子标记为反例。 第二步，将一定规模的经过标注的正例和反例都“喂”给训练器，让训练器学习到一个算法模型，这个算法就能用来判断新句子是不是涉嫌暴露客户隐私。 第三步，在质检产品中，系统就可以标记出所有命中“暴露客户隐私”语义点的句子，复检员可以快速定位到该质检项所处的位置，迅速进行核实。此外，复检员每一次复检的操作，都相当于对算法模型进行了一次反馈，会帮助算法模型变得更准。 最终，比”关键词+正则“方案多找出数倍的不合格、不合规之处，达到召回率（找的全）、准确率（找的准）均在80%以上的效果。 -9- 基于“大模型”的新一代解决方案 2021年4月，循环智能联合华为云发布了全球首个千亿参数的中文语言预训练大模型——“盘古”，发布时盘古大模型打破了权威评测榜单CLUE的三项记录。经过一年多的研发和进化，循环智能把零样本技术推向落地，建成了零样本NLP平台。盘古零样本NLP平台搭载了，经过极致优化的15亿参数可落地模型，性能显著超越原版的千亿模型。 零样本学习是全新的NLP生产范式，在大部分场景下无需标注样 本，只需要人类提供指令（Prompt）即可完成建模，大幅度地降低生产门槛；在少部分场景下，仅需通过少量样本（通常10-50条数据）进行微调，即可完成建模。 从模型效果的角度看，通过盘古零样本平台生产的NLP模型，跟原来的标注几百条样本得到的模型，可以做到效果相当；从生产周期的角度看，大部分NLP模型生产可以从传统方法的几天降至几分钟，少部分需要微调的模型也仅需要一两个小时即可完成生产，生产效率提升10到1000倍。 …………<<<<二< 、新实践：双模质检>>>>>………… 随着自然语言处理（NLP）领域技术的发展，以“AI语义”质检模式为主、“关键词+正则”模式为辅的方案已成为未来发展趋势。两种模式将长期共存，因为它们各有其更擅长做的事情、更适配的场景。 “关键词+正则”模式的适配场景 在实际应用中，“关键词+正则”作为一种基础质检模式，越来越难以满足企业在质检效果和效率上的精细化需求。但是，这种模式也有它的优势：上手快。 当企业提出一个新的、此前从未用过的质检项时，质检项的标准尚未完全确定，因此可以用“关键词+正则”模式先跑起来，快速进行探索和迭代。其后根据初步探索和迭代的结果，再判断是否可以升级到基于深度学习技术的“AI语义”模式。这是适配“关键词+正则”模式的第一种场景。 第二种场景：当一个质检项命中的目标通话量比较少，只有几百 甚至几十条，就无法产生足够的“正例”给机器学习模型进行训练，只能继续采用“关键词+正则”模式。这是一种被动场景，也是比较常见的场景。 还有一种场景比较特殊：有些质检项命中的目标通话比较多，原则上可以用来训练机器学习模型，但是因为“关键词+正则”已经得出不错的结果，既找得全（术语叫召回率高），又找得准（术语叫准确率高），两个值都超过90%，那么暂时就不迫切需要升级到“AI语义”质检模式了。比如很多企业需要的正向质检项——“礼貌问候”，因为可以穷举出大部分“礼貌问候”的用词，用“关键词+正则”模式就能得到双90%的结果。 不过，这种场景非常少见。大部分情况下，“关键词+正则”质检模式相比基于深度学习技术的“AI语义”质检模式，在找全率和找准率上有很大差距。 -12- “AI语义”模式的适配场景 在实际应用中，传统“关键词+正则”模式，很难找得全和找得准目标通话，大大影响工作效率——如果找不全，就意味着会遗漏很多目标通话；如果找不准，就意味着在人工复检时会浪费大量人力。“AI语义”质检模式，可更好地解决上述痛点。 考虑到在实际使用中，质检项与命中的目标通话量之间的关系也 存在“二八法则”——20%的质检项贡献了80%的质检量，所以将质检量大的少数质检项升级到“AI语义”模式，往往可以大幅提升整个质检任务的找全率和找准率。这是“AI语义”质检模式主要的适配场景。 第二种场景：某些质检项，虽然从某一家企业的角度看，所命中的目标通话量不算大，但是这个质检项是整个行业中较为成熟的、通用的质检项，其他企业也都在用，那么就可以采用基于深度学习技术的“AI语义”模式进行模型训练。因为其他企业都可以比较快速的复用，所以“AI语义”模式带来的收益就更高。 与“关键词+正则”质检模式相比，“AI语义”模式，不再需要 “AI语义模式，只需要普通 算法模型。” 人快速进行数据标注即可训练 既懂业务又懂正则的稀缺人才编写规则和迭代规则，只需要普通人快速进行数据标注即可训练算法模型，而且通常能得到更好的效果。 -13- “双模”质检，各司其职 当前阶段，质检项应该采取哪种模式，主要取决于该质检项产生的目标通话量大小——通常数量大，才能快速标注数据、训练出更好的算法模型，采用“AI语义”模式，否则仍需要继续使用“关键词+正则”模式。 其次也要考虑到质检项的成熟度——太新的、标准尚不明确的质 检项，适合先用“关键词+正则”模式迭代起来，再决定何时升级到“AI语义”模式。综合来看，在实践中采用“双模”方案，让两种模式各司其职，可最大程度提升质检效率。 双模质检，各司其职。“AI语义”质检方式通过引入深度学习算法模型，能够更好地利用上下文语义来判断一个句子是否命中了质检项，显著提升找全率（术语“召回率”）和找准率（术语“准确率”）。 综合来看，在实践中采用“双 职，可最大程度提升质检效率。 模”方案，让两种模式各司其 同时，由于深度学习算法模型对训练数据量有要求，因此“AI语义”方式更适合目标通话量较多的质检项，而目标通话量过少的质检项，无法训练出好的算法模型，需要继续使用“关键词+正则”的方式。 …………<<<<三< 、新实践：流程质检>>>>>………… 如何监督业务人员在遇到特定场景或客户的特定问题时，有没有执行标准流程，有没有按要求进行回复？ -14- -15- 什么是“流程质检”？ 最常见的全局质检项，是只要在通话中命中了某个语义点，就判定为违规。例如员工在对话中“过度承诺”在几乎任何场景下都是违 规的“流程质检”则适用于有前置判定条件、需要进行逻辑判断或者 需要多个“语义点”组合来判断是否合规的场景。简而言之，就是稍微复杂一些的场景。 具体来看，流程质检的质检项，首先需要判断一个对话是在讲什么事情，然后再判断针对这件事情，业务人员的回答是否满足一个或多个规范条件。 先判断对话在讲什么事情，有时候是通过语义点来判断，有时候可以通过企业上传的自定义字段。有时候企业会要求某个SOP（标准作业流程）需要在对话开始的前几分钟内完成，有时会要求某个SOP必须执行几次…… 接下来，我们看一些比较场景的流程质检实例，应该