Laurie Voss 演示 Agent 评估流程：Trace 定位、分维度裁判、接入 CI

• 评估起点：Laurie Voss（npm 联合创始人、Arize AI 开发者关系负责人）以金融分析 Agent 为例，指出 Agent 最棘手的错误之一是"错得很自信"——一份特斯拉报告把两次不同网页搜索中的分析师建议比例相加，得出 116% 并写进结论；搜索结果本身没错，错在推理步骤。不看 Trace，很难知道问题出在哪一步。
• 方法拆分：他把 Trace 定义为"日志"，eval 定义为"对运行记录跑测试"，流程为：写评估前先通读十几条 Trace → 用几毫秒可完成的代码检查处理股票代码这类硬性项 → 按维度拆分 LLM 裁判（而非用一个同时检查准确性、语气、完整性、格式的"上帝评估器"），并区分发布底线与改进目标。
• 量化结果：改一行 Prompt 要求给出明确建议后，可操作性评估从 16 份中 5 份通过升至 48 份全部通过；但忠实度只从 2/16 变为 3/48——修好了被衡量的那个问题，没解决编造数据的问题。换用 Haiku 5.5 后忠实度提升 3 倍多，成本变为 4 倍，代价是模型几乎每次都建议"持有"。
• 裁判也要被验证：裁判本质是分类器，需用人工标注的黄金数据集与裁判结果对照；Voss 称自己有时也没按亲手写下的标准判断。改进必须用相同数据和指标做实验验证，最后把股票代码检查与可操作性检查放进 npm test 与 CI。
• 行业意义：新模型几周一次，没有评估就难以判断能否升级；这条实践把 Agent 的可靠性拆成可测维度与可执行断言，同时提示一个常见误区——单项指标从 5/16 涨到 48/48，并不代表 Agent 整体变可靠。

🔗 播客原链接（AI Engineer · Evals With Phoenix & Claude，原内容更新于 2026-10-17）