Terminal-Bench 审计：65 个任务中 60 个有问题，44 个可作弊通过
- 审计结果：对 Terminal-Bench 的 65 个受审任务中，60 个存在不同形式的问题，44 个可通过未预期的方式绕过或作弊通过，41 个依据未在任务中声明的隐性要求评分。
- 问题类型：包括规格不完整、评分条件未公开、允许走捷径、缺少必要的约束检查等；审计指出这并非个别任务的质量瑕疵，而是覆盖面较广的系统性问题。
- 影响范围：Terminal-Bench 是编码 Agent 与终端操作能力的主要评测基准之一，近期被多家模型厂商用作发布对比依据；审计结果意味着依赖该基准的排名与选型需要重新评估。
- 行业意义：当模型排名与商业选型依赖这些分数时，基准的完整性直接决定结论可信度；审计结果把评测环境的数据卫生与评分逻辑透明度推到与模型能力同等重要的位置。 🔗 审计帖子