返回首页

美团发布 Agent 评测白皮书首篇:提出四模块、两 Loop 与一套资产

  • 核心发布:美团图灵 Agent 评测团队发布《Agent 评测白皮书》系列 01,计划四篇覆盖冷启动、扩量与自进化。
  • 体系结构:四个模块——离线评测、在线评测与监控、Case 挖掘与归因、观测基建;三种能力——发现问题、定位问题、驱动演进;两条 Loop——Agent 迭代与评测体系迭代;一套资产——覆盖各功能模块的端到端与过程评测集。
  • 方法要点:评测从答案评测走向行为评测;用二元化 Rubric 提升人人一致与人机一致,数字站长案例人机一致率达到 99%,Beam 从 62% 提升至 92%。
  • 行业含义:Agent 评测正从单次打分动作转为基础设施能力;缺少 Case 挖掘与归因枢纽时,离线评测与在线监控会割裂,线上问题回不到评测集,评测结论也解释不了线上现象。 🔗 美团技术团队