微软+利用大模型打造更聪明的猴子：下一代跨平台软件测试基础设施+Hydra+Lab

步绍鹏 演讲嘉宾介绍 步绍鹏微软中国高级研发经理 负责Phone Link项目工程系统，保证产品质量和团队能效多年研发和管理经验《软件工程·最佳实践》作者在软件质量保障系统方面获得多项专利领导构建开源云测系统Hydra Lab推动微软Azure OpenAI Service在产品端、工程系统端赋能爱好：篮球、电影、脱口秀 Phone Link 支持三星和荣耀手机的深度连接集成体验 Hydra Lab Agenda 01从手动到工程化创新 Hydra Lab和测试工程化02 智能涌现：更聪明的猴子03 04大模型时代：智能测试和测试智能化 软件测试的时代印记：从手动到 自动化测试现状与挑战 The State of Testing Report,PractiTest, 2023 测试金字塔 为什么需要测试工程化开源方案为什么不选择Firebase或者其他第三方云平台？ 使用三方平台潜在问题：把公司的包含调试信息的内测应用开发包上传到第三方平台 Hydra Lab架构解析 Hydra Lab架构解析 Hydra Lab架构解析 Hydra Lab架构解析 Hydra Lab架构解析 Hydra Lab设备管理集群 Hydra Lab设备管理集 Hydra Lab设备管理集群 Hydra Lab设备管理集群 Hydra Lab设备管理集群 Hydra Lab设备管理集群 内部落地情况 •每月运行5~8万测试任务•管理全球设备•覆盖单元测试、UI测试、Monkey测试、智能测试、端到端测试和性能测试•落地测试生成、测试报告数据分析和可视化 03智能涌现 Monkey Test Chaos Monkey Fault Injection 最”受欢迎”的自动化测试 一百万只猴子 在一百万个键盘前敲一百万年 三个盒子 白盒视角的LLM测试应用：TestPilot 帮我对选中的代码生成单元测试，要求验证边界情况和异常情况…“” 黑盒视角：聪明的猴子 •黑盒视角的测试 •理解程序界面•找到可交互元素•进行交互 Model based的探索：强化学习 理解Comprehension 广义自动化测试视角下，大语言模型如何发挥作用? 测试智能化中LLM面对的问题 如何智能探索一款应用？理解和交互？ 如何理解用户的测试需求？ 如何整合测试信息？ 不同测试问题的上下文的规模 编译产物 运行时调试信息 白盒测试生成：单元测试 白盒测试生成：集成测试 运行时交互信息 探索测试 工程化单元测试生成 LLM-based:单步探索 特征提取： •页面上下文 •应用上下文 相关原理 •UX交互设计的原理 •探索式测试的理论 面对这样一个界面，你会如何向GPT描述？你想点哪里？ 三个盒子 黑盒测试的生成 LLM-based:黑盒用例生成 LLM-based:黑盒用例生成 这是应用的解析数据和状态转换图的文本表示，基于这些生成基于Maestro的UI测试用例：<应用解析数据><功能状态转换图描述>“” 应用解析数据 性能数据的自然语言解读分析 智能测试与测试智能化Intelligence Testing and TestIntelligence. Hydra Labto do IntelligenceTesting References&Thanks 1)Evaluating LLM trained on code2)A Survey of Large Language Models3)StarCoder: A State-of-the-Art LLM for Code4)Competition-Level Code Generation withAlphaCode5)Hydra Lab团队工程师周乐、邹家祥、沈理、陶冉 我与微软专家胡晓武、莫曲合著的《软件工程最佳实践：程序员走向架构师的关键8步》即将出版，书中将对该领域有更多深入探究。 敬请期待！