行业研究公司研究宏观策略财报招股书会议纪要 Token 低空经济十五五 AIGC 大模型

AI生成checklist：Qunar使用AIGC在测试域的提效实践

2024-09-18 崔宸 - 木子学长v3.5

项目背景

问题：写checklist耗时（平均耗时5pd以下需求1-2h，5pd以上需求3-5h），需求文档质量参差不齐，影响QA效率和质量。
目标：提升QA写checklist的效率，检查需求文档质量，提升自测自发起需求质量。

设计思路和方案

业界参考：基于自有大模型及微调的一键生成方式、基于通用大模型多轮问答的方式。
Qunar解决方案：
- 主要（便捷）：基于通用大模型+聚焦于需求点+集成项目研发流程中的一键生成方式。
- 辅助（灵活）：智能体多轮问答。
系统架构：
- 执行流程：1. 获取需求文档，对文本进行拆分；2. 结构化文档+prompt向大模型提问；3. 将AI返回的测试点进行转换，渲染为脑图；4. 归档AI生成与手动修改完的case，分析数据。
产品文档预处理：
- 原因分析：需求文档无固定模板，规范性较低；需求文档中的无关内容影响生成效果。
- 解决方案：提取需求正文，拆分需求正文，获得结构化需求点。
文本解析模块：
- 符合标准格式：工程化解析需求正文及需求点列表，生成准确率高。
- 完全无格式：大模型解析需求正文及需求点列表，生成准确率取决于文档内容密度。
需求分析模块：
- Prompt设计：角色为测试专家&语言分析专家，提取需求点文本的关键信息，给出测试点列表和示例，以JSON格式输出。
- LLM选择：通过history模拟Few shot的方式来提升回答的准确率。
测试用例转化模块：
- 触发方式：项目管理流程入口触发、checklist平台内手动触发、定时扫描第二天进入开发中的需求，触发自动生成checklist。
样例展示：提供具体的样例展示AI生成结果。

效果评估方案

统计口径：
- 采纳率：(T + 0.5 * P) / A0，完全可采纳节点数T，部分可采纳节点数P，终版checklist节点数A1，自动生成总节点数A0。
- 覆盖率：使用项目数/全部项目数。
- 召回率：(T + 0.5 * P) / A1。
目前效果：
- 采纳率：50.0%。
- 召回率：41.7%。
提效成果：
- 5pd及以下需求，每个需求节省0.1pd。
- 5pd以上需求，每个需求节省0.2pd。
- 年化可节省约200pd。
- 填补自测自发不写checklist的缺口。