Rox 用 Devin 从生产流量自动生成 Evals，覆盖率 72%
- 工作流：Rox 不再手写 Evals；Devin 每周对 Agent 做 QA，读取与 Agent 的真实对话，在完整 Rox 副本中重建每个失败，并转为 Eval，团队只审查 PR。
- 覆盖数据：Eval 套件已覆盖 72% 的真实产品使用，此前手写 Evals 覆盖 43–57%；覆盖率随 Devin 每周运行继续增长。
- 行业意义：生产流量直接回流为回归测试资产，Agent 承担失败复现与测试生成；这提供了一条让 Eval 覆盖贴近真实使用、减少人工维护的路径。该案例由 Rox 与 Cognition、Braintrust 合作披露，实际泛化能力仍取决于失败重建质量与审查环节。 🔗 Devin 开发者推文 | Rox 原帖
