跳至正文返回首页TreeOPSD 提出无 critic 树感知蒸馏，面向长程 Agent 的 RL 信用分配
- 方法核心：预印本 TreeOPSD 将长程 Agent 的终端结果奖励沿 rollout 树回传，为每个轮次构造有界目标，再用前向 KL 让当前策略匹配该目标；摘要称其为 critic-free 的 RL 方法。
- 训练机制：针对同一 rollout 批次被拆成多个顺序 mini-batch 更新时产生的策略漂移，方法先构造逐轮目标再匹配；作者称共享前缀只训练一次且不损失信用分配，首批次更新对应精确树策略梯度，更新越过目标后可停止并反向。
- 实验结果：作者报告在 Deep Research 任务上，将 Qwen3-30B-A3B-Thinking-2507 的平均准确率从 GRPO 的 16.23 提至 21.20；在 GRPO、GSPO 与匹配树基线上取得一致增益，且最长程任务增益最大。
- 行业观察：长程 Agent 的稀疏奖励与多轮更新漂移，是训练信号能否稳定传导到每一步行动的核心问题。该工作把树回传与前向 KL 目标结合，试图在无 critic 条件下处理多轮信用分配；当前结果来自作者预印本，尚需第三方复现与更广泛任务验证。
🔗 论文 PDF | 原推文 | 作者帖
