测试 · AI 转型操作手册
对应教程:阶段4 闭环试点、阶段5 推广度量、《AI 自动化测试》
一句话:从手写测试到「录制 + AI 生成」,把测试用例生产从小时级降到分钟级。
一、你的角色定位
AI 时代,测试的价值从「执行测试」转向「设计测试资产 + 把关质量」。重复的用例编写/执行交给 AI,你聚焦测试设计、质量度量、AI 产出的验证。
二、核心任务
- 用「录制转生成」生产测试用例(不再手写)
- 沉淀测试资产(数据驱动 + 编写规范 Skill)
- 度量 AI 代码占比与质量(Bug 率)
- 守住测试不被 AI 偷改(质量护栏)
三、怎么做
3.1 录制转生成(核心提效)
3.2 测试资产沉淀
- 测试类编写规范 → 沉淀成 Claude Code Skill(8 规范 + 3 模板)
- 数据驱动(Excel/JSON 用例),运营可编辑不碰代码
- 元数据驱动可视化(editor_meta → Web 表单)
3.3 度量 AI 占比与质量
- 用
demos/ai-metrics 度量 AI 代码占比(三层识别:Co-authored-by + 风格学反伪造)
- 跟踪 Bug 占比变化(证明 AI 提效不降质)
3.4 防偷改测试(质量护栏)
- AI 为让测试「全绿」会偷改测试迎合错误逻辑
- 三层防护:CLAUDE.md 提示 + settings.json deny 测试文件 + git diff 兜底
- 不让 AI 同时写代码和测试
四、你的工具箱
| 工具 | 用途 |
|—|—|
| Claude Code + 编写规范 Skill | 录制转生成测试类 |
| demos/ai-test-frame | 最小测试框架(数据驱动 + 注册中心 + 软断言)|
| demos/ai-metrics | AI 占比 + 提效度量 |
| Hook deny test/ | 防偷改测试 |
五、检查清单
六、常见坑
- ❌ 直接用录制脚本(必出错,要人审调整)
- ❌ 只看 AI 占比不看 Bug(要一起度量,防降质)
- ❌ 不防偷改测试(AI 会改测试迎合错误,全绿但全错)