返回首页

Google Research 开源 Harness²:两层递归优化智能体 Harness

  • 核心亮点:Google Research 将递归式智能体 Harness 优化框架 Harness² 开源,代码发布于 GitHub;其目标是在没有标准答案的开放世界任务中,通过行为对比与经验库递归改进 Agent 的外层执行框架。
  • 前情提要:此前 Google 论文 Harness^2 已提出在测试时递归改进 agent harness,且无需外部 verifier;系统为当前任务生成多个 harness 编辑,互相测试后保留组合,再把经验用于未来任务。今日新增的是框架正式开源与更完整的机制、组件和实验数据披露。
  • 最新突破一:任务级递归:第一层采用 Propose–Probe–Compose 对比式改进环。Propose 先跑当前 harness 的参考执行,再提出两个候选 harness——一个针对规划、工具使用、上下文管理、委派等跨领域代理性缺陷,另一个针对当前领域知识与流程约束;每个候选都是可直接执行的文件级编辑。Probe 让两个候选在同一任务、同等模型与环境下执行,与参考执行做行为对比,判断是否缓解目标缺陷、无变化或造成回归,但不验证任务答案是否正确。Compose 读取参考执行、候选、diff 与执行证据,有选择地合并修改、修订冲突、采纳其一或保持原样,每个决策必须绑定具体观察。
  • 最新突破二:harnessing 级递归:第二层在每个任务结束后反思完整改进记录,把被采纳的 harness 与有证据支持的教训写入按领域组织的持久库。教训只有在执行对比支持时才保留;库中存可执行组件文件而非散文摘要,并配 EXPERIENCE.md 记录适用场景与证据。下一个任务仍从公共基础 harness 出发,但 Propose/Probe/Compose 由更新后的库引导,即“改进 harness 本身”也在被改进。
  • 扩展模式与组件:支持 parallel(同时探测 k 组候选)与 sequential(k 步链式精炼)两种扩展,k=1 到 5 均单调提升。八个可编辑组件按作用分为:上下文构建(系统提示词、护栏、记忆)、工具接口(工具指引、Skills)、编排(subagents)、脚本(确定性能力)、插件(TypeScript 中间件,在工具环内强制行为)。
  • 主要结果:k=1 单步、编辑器为 Claude Opus 4.8 时,WorkBuddy-Bench 上 Gemini 3.5 Flash +5.1(OpenCode)、GLM-5 +11.5(64.2→75.7);JobBench 上 +4.5 与 +3.6;LAB 部分通过率上 Gemini 3.5 Flash +4.0(Codex)、GLM-5 +11.8(59.6→71.4)。更值得注意的发现包括:越弱的执行模型获益越大,GLM-5 换上改进后 harness 反超 Gemini 基础分数;改进后的 harness 可跨模型迁移,为 Gemini 精炼的 harness 给 GLM-5 在 Code 子集带来 +17.3,并胜过 Claude Code、Codex 固定生产 harness 4.6–5.8 分;执行器与编辑器用同一模型也能提升;库消融在 WorkBuddy-Bench 上损失 3.1 分,且库可跨基准迁移。
  • 行业观察:这项开源把 Agent 能力提升的杠杆从模型权重扩展到可递归优化的 harness 层。无外部验证器时,用同任务下的 A/B 行为对比替代分数反馈,为开放世界任务提供了一条可工程化的自我改进路径;同时,持久经验库、可执行组件与并行/序列扩展把“改进过程”本身纳入可复用资产。 🔗 GitHub 开源地址 | 原推文 | 此前论文 arXiv:2610.14224
Tweet ImageTweet Image