返回首页

Data World:从零生成可审计的数据分析环境,RL 训练在 DABstep-Hard 提升 20.9 分

  • 环境构造方式:该引擎不直接生成题目,而是先写下生成这份数据集的底层机制,再据此产出文件、任务与评分规则。因为数据是"按已知过程造出来的",开放式分析结论可以被反查核对,独立审计确认每个答案都能从文件中恢复。
  • 训练结果:在 2,135 个此类任务上对 Qwen3.6-35B-A3B 做 RL 训练,未使用任何蒸馏轨迹,DABstep-Hard 提升 20.9 分;同一流程在 DAComp 上带来 14.28 分、JobBench 上 12.13 分。
  • 基准侧的另一项发现:论文指出十个前沿模型"算出正确数字"的频率,普遍高于"从这些数字得出正确结论"的频率——即计算环节已相对可靠,判断与归纳环节仍是短板。
  • 行业观察:Agent 训练环境此前多为手工搭建或从真实库采样,环境本身是静态资产,奖励则依赖事后打分。把生成机制与评分规则一并产出,等于让"任务从哪来、答案为什么对"同时可验证,这对开放式数据分析这类没有唯一解的任务尤其关键;也解释了为何在无蒸馏数据的条件下仍能取得两位数提升——训练信号的质量来自环境可审计性,而非更强的教师模型。 🔗 论文 arXiv:2610.21656 | Chat with Paper