新型AI技术加速构建企业智能化运营能力

新型AI技术 加速构建企业智能化运营能力 王琤|联合创始人兼首席产品官|Convertlab | 新一代AI技术对企业运营的深刻影响 “ | 国内外基础大模型发展已经进入充分竞争阶段 大模型训练成本快速下降，供应充足，无法形成寡头垄断。企业选择多，使用成本逐步下降。 闭源和开源大模型差距缩小，互有优势，各占据相当市场份额。 国内大模型成熟度快速提升，部分国内大模型提供私有部署模式，企业无需担心数据隐私和数据出境问题。 基础大模型和AI应用耦合度较低，大模型切换成本低，企业拥有切换大模型的选择权。 Convertlab对基础大模型生态发展的观点 CO-CREATIONTOWINTHEMARKET | AI大模型技术对企业“专业工作岗位”的深刻影响：低成本方式大规模获得 企业最需要的 低成本 懂企业、懂业务、会协作的资深员工 超低成本 经过标准职业培训的毕业生 超低成本 毕业生 基础大模型+定制业务能力+企业专有知识+接入企业系统/业务流程 GPTsAIHub 基础大模型+标准业务能力 市场部编辑 视频编导 程序员 ……. 基础大模型饱览群书+通识能力 CO-CREATIONTOWINTHEMARKET | 新型AI应用将在企业运营各方面产生价值 各行业企业认为以下业务场景最适合应用新型AI技术 来源：《2023企业数字化年度指南-红杉中国》 AI应用的重点业务领域 市场营销与销售 内容创作与编辑 客户服务与支持 研发与创新 办公效率 CO-CREATIONTOWINTHEMARKET | 人和AI协同的三种形式 推荐模式 人 AI 人 AI 人 AI AIEmbedded模式AICopilot模式AIAgent模式 A A A II 任务 Agent Agent Agent CompositeAgent Agent Agent Agent I 复杂任务 任单 务任 务 CO-CREATIONTOWINTHEMARKET | 新型AI应用，促进企业组织和生产力运营效率大幅提升 个体增强模式协同增强模式 产生“超级个体”产生“超级组织” 企业员工新型AI应用 未来的若干年，AICopilot成为主要人与AI协作模式 个人需要学习与AI协作，升级为“超级个体” 企业争相让每个员工、每个业务流和AI有效协同 企业整体「AICopilot」化程度成为新竞争力 CO-CREATIONTOWINTHEMARKET | | 我们的断言 企业级「新型AI应用」即将迎来爆发 大幅提升企业运营效率,加速企业数字化转型 CO-CREATIONTOWINTHEMARKET | 企业级「新型AI应用」加速企业智能化运营 | AI应用，不等于企业级AI应用 OpenAIGPTsStoreMindOSMarketplace CO-CREATIONTOWINTHEMARKET | ✓非常了解公司的产品和服务信息， 半个“产品专家” ✓了解公司客户服务流程，知道优质的服 务是怎么样的，还能够内部协作。 ✓情商高，非常擅长用各种方式沟通，待 人接物经验丰富，能够处理突发情况。 ✓尽可能直接解决客户问题，遇到复杂 问题及时转交其他团队跟进 ✓服务质量意识强，确保服务内容的 专业性和准确性。 企业需要什么样的新型AI应用？ 1 2 以智能客服为例 3 4 5 6 7 新型AI应用的7大特征 了解企业特定业务领域的信息和相关知识 借助大模型等AI技术，具有良好的语言能力和智能决策能力 提供各种有效互动的方式（对话、动态交互界面、数据接口等） 能够与企业的其他IT系统和内部业务流程进行集成 具备完整的效果评估和质量管理体系 可以根据功能需求和成本考量，匹配最合适的基础大模型 其他企业级要求，包括安全合规、日志存档、权限管控等 CO-CREATIONTOWINTHEMARKET | 特征1：了解企业特定业务领域的信息和相关知识 文档 PDF WordPPT 网页 网站 企业wiki传统KB 内容规范化知识抽取 知识结构创建 知识嵌入 新型企业知识库 结构数据 Excel 数据库 客户订单信息退换货政策 类似情况工单记录 用户意图识别+相关性推理 1.用户最近购买过鞋子的订单有哪些？ 2.购买的商品的退换货政策是什么？ 3.类似情况历史处理经验是什么？ 知识召回 难点：相关性、优先级排序、采纳数量上限 顾客我买的鞋尺码不对 智能客服 可以把订单号，或者鞋子的名称发给我吗？ …… 智能客服 您最近购买过一双36码的女鞋，但是已经过了我们15天退换货时间了,真的很抱歉。我会帮您转人工坐席继 现有业务系统数据库虚拟“知识库” 商品主数据订单主数据工单数据 生成回复 续处理。 CO-CREATIONTOWINTHEMARKET CO-CREATIONTOWINTHEMARKET | 特征2：借助大模型等AI技术，具有可靠且智能的决策能力 优势 劣势 •较高的执行确定性 •系统运行成本低 •技术体系和生态较为成熟 •极强的自适应性和泛化能力 •不断探索与发现更多策略的可能性 •相同的规则和逻辑可以应用到不同的使用场景 •较低的人工维护成本 •复杂决策需要大量的规则数量，维护量大 •相似的逻辑因细微差别需要重复维护规则 •缺乏“举一反三”的泛化能力 •技术体系较新，尚需时间积累最佳实践•具有额外的推理算力成本 •有几率产生推理谬误 规则+AI推理的「混合决策系统」：智能编排 传统机器决策·基于预设规则新型机器决策·AI推理 | CO-CREATIONTOWINTHEMARKET 微信公众号 Web 独立Web应用 嵌入官网 小程序 App 1、动态交互界面 特征3：提供各种有效互动的方式（对话、动态交互界面、数据输出等） AI应用 2、开放接口供第三方调用 | 特征4：与企业的其他IT系统和内部业务流程进行集成 AI应用需要稳定可靠的和企业已有系统进行集成 查订单 （订单系统） 查会员档案 （会员系统） 送优惠券 （会员系统） 创建工单 （客服系统） CO-CREATIONTOWINTHEMARKET | 核心能力5：完整的效果评估和质量管理体系 知识质量 工具质量 推理质量 体验质量 整体评估 召回精度测试 选择准确性测试 基础模型能力评测 多轮互动测试 整体准确率测试 知识命中质量评估 调用可靠性测试 基于知识的推理评测 动态交互测试 用户验收测试 知识库丰富度评估 异常处理可靠性测试 多步骤推理评测 终端兼容性测试 性能测试 并发性能测试 安全测试 CO-CREATIONTOWINTHEMARKET | 核心能力6：根据功能需求和成本考量，选择最合适的基础大模型 ✓Convertlab已支持的国内外主流在线大模型Convertlab为企业级AI应用专门设计了大模型评测体系 模型 国内/国外 可私部 价格水平 OpenAIGPT-4Turbo 不可用 无私部 高 OpenAIGPT-3.5Turbo 不可用 无私部 中 文心一言ERNIE-Bot 可用 无私部 中 智谱华章Turbo 可用 可私部 低 通义千问Turbo 可用 无私部 低 星火认知v3.0 可用 无私部 中 Minimax 可用 无私部 中 模型 正确性 全面性 可读性 综合评分 GPT-4 3.19 3.19 4.00 86.55 智谱华章turbo 3.03 3.15 4.00 84.86 智谱华章pro 3.08 3.05 4.00 84.44 GPT-3.5 3.07 3.05 4.00 84.38 Minimaxpro 3.05 3.10 3.93 84.03 智谱华章std 3.03 3.00 4.00 83.61 Minimax 1.80 2.67 4.00 70.56 某超大型模型（开发版） 0.45 0.48 2.71 30.32 部分评测结果——基于专业领域知识库的问答质量评测 ✓Convertlab已支持的国内外主流离线模型 模型 国内/国外 可私部 百川2 可用 可私部 ChatGLM3 可用 可私部 书生浦语 可用 可私部 Qwen 可用 可私部 Llama2 可用 可私部 CO-CREATIONTOWINTHEMARKET | 生成字数有限长度不够 不受控 仅强调创意 普通的生成式AI应用 VS. 新型AI应用 作为复杂任务进行处理 生成足够长度且可靠的内容 Copilot人机协同模式随时对AI产出调优 缺乏企业知识注入内容泛泛 经过充分学习 懂得企业相关知识 | ConvertlabAIHub的能力优势 GPTBuilder AIHub 支持客制化智能应用交互方式 支持生成式智能应用交互方式 支持GTP模型家族 支持开源模型家族 支持国内模型家族 提供企业定制化服务 提供企业私有化部署 支持从文件提取知识 CO-CREATIONTOWINTHEMARKET 支持从外接数据库提取知识支持简单智能体设计支持智能体流程设计支持functioncalling支持智能应用市场 | 案例介绍|某大型工业制造企业：营销文案标注 项目背景 营销文案人工标注低效，标准不一，准确度低 Before·传统人工流程 每20篇文章>1小时，准确率≈50% 四层嵌套、七类标签 •标签系统复杂 •标签元数据缺失 人工持续投入，重复劳动 •待标注文案已两万篇以上，人工标注效率低 •持续占用业务/运营人员工作时间 标注准确率低 •评判标准不同意 •人为错误概率高 After·AI流程 20篇文章<5分钟，准确率>80% 特征洞察 完成对文章打标签AIHub解决方案关键点： 标签推理归档 AIHub 多模态识别 行业标签 电子器械行业 活动标签 线下沙龙 业务线标签 业务线A-电气 产品标签 产品A-开关 1.让AI学会glossary、业务线、产品目录、行业方案等知识 2.模型微调，让只具备世界知识的模型，也具备工业品知识 3.提供完整的迭代流程管理，灵活应对业务变化 | 案例介绍|某大型快消企业：构建数据治理应用 项目背景 Before·传统人工流程 数据纷繁复杂，数字营销第一步就面临挑战 >500位≈5千万 外聘人员/管理人员预算 20+ 上游数据 20+ 内部业务系统 10000+ ETL任务队列 60+ PB •数据文件多样、结构复杂 •数据生产与消费关系错综 •数据采集延迟严重，无法支持业务场景 •数据字典确实/错误 After·AI辅助流程 + 50位 业务分析师/工程师/ 管理人员 LLM投入≈2千万 数据平台，LLM平台，预算 知识库等 数据治理一般步骤 其中6步已交由AI完成，渗透率66%+ AIHub解决方案关键点： Step1 确定源系统全量探查方法 Step6 数据质量分析及汇报 Step7 OneID及客户主档案设计 Step2 数据探查计划及分工 Step5 完成数据探查报告 Step8 数据ETL映射逻辑设计 Step3 探查工具准备及连通性测试 Step4 数据质量探查 Step9 数据同步方案设计 1.AI自动探查数据源，并生成数据字典识 2. 10+智能体构建类型工厂流水线，每个智能体专注于流水线上的特定任务（共享一个知识库） 3.“审核型”角色的智能体，大幅降低人工审核质量的工作 | 案例介绍|某大型家电零售企业：企微智能客服 项目背景 商品品类繁多，精英销售人员不足，难以支撑大量商品的售卖推荐 •门店数量多、SKU多、商品信息多：3万+门店，2.6万+SKU •销售人员能力参差不齐，难以判断沟通时机、沟通内容转化效率低 •培训难度大，人员流动性大，培养优秀员工的周期长、成本高 After