返回首页

DAIR 论文:4B 决策模型按置信阈值分流工具调用,级联成本降 14.2%

  • 门控机制:JevAgentHarness 把每个常规选择先发给 4B 决策模型,只有当其置信度越过「在该 Agent 自身轨迹上拟合出的阈值」时才采纳它的答案;低于阈值仍由 LLM 照常决定。
  • 成本与结果:在拟合阈值下,工具与参数级联成本降低 14.2%,500 项任务的结果无一改变;作为对照,固定阈值 0.5 反而损失 21.5 个百分点——阈值必须按 Agent 校准,而非取通用默认值。
  • 训练数据来源:AgentDecision-4B 以 Jev 的回答为标签,训练集取自 Agent 自己犯错后到达的状态。在与训练数据不同的任务上,配该模型解决 91.5%,单用 Jev 为 82.0%;熟悉任务上则把 Agent 做便宜 81.1%–89.0%、快至 2.5 倍,成功率相差不超过 3 分。
  • 行业观察:决策模型作为独立低单价调用层的方向已有多家在做,这条工作的差异在于把阈值拟合绑定到单个 Agent 的轨迹分布——换一个 harness,阈值就要重算。这也意味着「决策层可替换」在工程上并不等于「即插即用」。 🔗 论文页 | 原推文
Tweet Image