微信-熊婷-微信小游戏质量保障探索实践

微信小游戏 质量保障探索实践 熊婷 腾讯公司高级测试工程师 讲师简介 请插入 您的照片 •腾讯公司高级专项测试工程师，微信团队游戏业务测试负责人 •武汉大学计算机专业本硕，历任腾讯多款头部产品质量技术负责人，微信公开课讲师 •为腾讯自研搜索引擎、台风分布式存储系统、微信客户端、微信游 戏、微信小游戏、视频号游戏直播、游戏短视频等项目提供自动化技术和质量保障方案 •主导项目在ICSE/ECSE/FSE等计算机和软工领域A类会议上发表论 文3篇，专利10+项 www.top100summit.com 目录 业务背景 技术目标 核心实践实践效果 思考展望 www.top100summit.com 发展历程 能力 环境 工具 标准 效率质量 短期目标 技术复杂性 行业价值 未来方向 www.top100summit.com 业务背景 业务背景 产品发展历程 www.top100summit.com 从手游到小游戏 从超休闲到中重度 业务背景 技术复杂性 www.top100summit.com 新产品技术形态 多环节保障要求 2023年微信小游戏开发者大会公开数据 大体量生态规模 www.top100summit.com 技术目标 www.top100summit.com 能力 环境 工具 平 台 框 架 游 戏 产 品 标准 技术目标痛点分析 www.top100summit.com 技术目标整体视图 标准 文档 社区 外 微信开发者工具 真机调试工具集 数据助手 云测试服务 开发者效率 小游戏产品质量 研发链路工具 产品质量服务 招 稳定性 执行效率 真机测试环境 录制回放测试框架 智能探索能力 多级测试能力 平台稳定性 平台性能 内功 www.top100summit.com 核心实践 核心实践智能探索测试能力：目标分析 关注点 困境 目标 平台 载体 游戏产品 可用性 性能 兼容性 脚本建设和维护成本高 广覆盖 覆盖尽可能多的游戏界面和功能 稳定性 安全性 游戏数量/玩法/形态多 通用性 适用更多游戏和更多保障环节 更新迭代快 保障要求高 www.top100summit.com 低成本 不依赖人工编写的程序和脚本 www.top100summit.com 核心实践智能探索测试能力：关键策略 •准确解析游戏界面 •适用不同引擎/不同品类 理解场景 识别可操作控件 有目的操作控件 哪些可以点？ 控件解析？ ——无直接接口 GUI检测？ ——准确率低 •智能、通用的决策机制 •高效多场景触达 决策操作 优先点哪里？ 脚本控制？ ——成本巨大 随机盲点？ ——效率低下 www.top100summit.com 核心实践智能探索测试能力：场景理解 Adapter ENGINE 标准化场景数据 基于场景树的游戏场景理解 多引擎游戏场景 www.top100summit.com 核心实践智能探索测试能力：场景理解 机器学习 复合属性 特征工程 基础属性 场景树节点 基于场景树的游戏场景理解 扑克，按钮 人物 房子 锤子建筑 球杆 www.top100summit.com 核心实践智能探索测试能力：场景理解 基于图像的游戏场景理解 DL-OD （Deep-learningbasedobjectdetection） EAS（Edge-aggregationbasedsegmentati-on） www.top100summit.com 核心实践智能探索测试能力：场景理解 基于图像的游戏场景理解 www.top100summit.com 核心实践智能探索测试能力：智能探索 基于场景变化度的强化学习节点聚类与合并识别 www.top100summit.com 核心实践智能探索测试能力：智能探索 场景地图 路径回溯 www.top100summit.com 核心实践智能探索测试能力：覆盖效果 www.top100summit.com 核心实践真机云测试环境 •填补资源缺失 •提升并发效率 •实现资源复用 性能优化 稳定性优化 Wetest集群，覆盖头部厂商/机型/用户 www.top100summit.com •小游戏数据助手 运营阶段：现网监控 •微信开发者工具 •Performance插件 •Memory插件 •JavascriptProfile插件 •Performance插件Monitor插件 •Source插件 •真机调试工具集 •性能监控面板工具 •HeapSnapshot工具 •V8-CPU-Porfile 研发阶段：本地调试 •小游戏云测试服务 测试阶段：集成测试 核心实践研发工具链 www.top100summit.com 核心实践研发工具链：云测试服务 测试框架模式 测试效果更精准 录制回放模式 使用门槛更低 智能探索模式 www.top100summit.com 核心实践产品质量标准 上线前 Crash 评估阶段 JS错误 上线后 FPS 40+ 黑屏率 网络环境 内存 启动耗时 评估维度 机型档位 操作系统 影响因素 质量指标 质量标准 www.top100summit.com 实践效果 实践效果 核心能力建设：低成本，高回报 覆盖小游戏 10w+ 微信小游戏平台框架 人力投入 2->0 发现问题 Crash25% 渲染异常25% JSError40% 50w+ 0.5h 运行效率 单游戏多设备：5人日->0.5h 10 www.top100summit.com www.top100summit.com 内存泄漏，数据依据：内存变化曲线 帧率抖动，数据依据：FPS曲线、低帧/抖动统计 过度绘制，数据依据：DrawCall变化曲线 启动黑屏，数据依据：JSError、真机截图 实践效果能力+环境：覆盖多类环境问题 www.top100summit.com 实践效果能力+环境+工具：驱动游戏质量提升 www.top100summit.com 实践效果能力+环境+工具+标准：促进生态良性发展 获得开发者普遍好评；获得引擎厂商的公开引用；成为受到行业广泛认可的质量参考规范 实践效果复盘总结 研发质量工具 从内到外 产品质量标准 开放性 •研发全链路生产力工业化 •为开发者赋能增效 生态质量平台质量 规范化 •统一评价体系 •多维度全方位参照 从点到面 智能探索测试能力 真机云测试环境 创新性 •新业务形态下的首次应用 •填补业界技术领域空白 多样化 •硬件保障，覆盖主流机型 •兼顾效率和问题发现能力 www.top100summit.com www.top100summit.com 思考展望 思考展望 www.top100summit.com 更多规划能力 与LLM深度结合，在内容理解和探索决策上有进一步增强 更智能化的性能分析、故障检测能力 针对垂直品类的细分策略 更多思考方向 质量保障没有单一化、经验化、标准化的手段 为开发者赋能，共建生态，合作共赢 自动化测试的智能化演进是未来主流趋势 微信官方公众号：壹佰案例 关注查看更多年度实践案例