美团发布 Agent 评测白皮书首篇:四模块、三能力、两条 Loop
- 体系框架:白皮书把完备评测体系拆为离线评测、在线评测与监控、Case 挖掘与归因、观测基建四个模块,并沉淀评测标准与评测样本两类资产。
- 两条 Loop:评测体系迭代 Loop 用线上异常信号校准评测集与 Rubric;Agent 迭代 Loop 用同一批真实样本定位问题、变更、回测和上线。
- 关键判断:Agent 评测从“答案评测”走向“行为评测”;离线守住已知问题,在线发现未知问题,观测 Trace 是归因的前置条件。
- 行业意义:Agent 项目卡在 Demo、扩量与价值证明,常因缺少可靠判断机制;白皮书把评测从单次打分动作推向可接入 CI/CD 的资产与流程。 🔗 美团技术团队





