返回首页Vercel AI Gateway 日志新增 Sessions 视图:把多轮调用按会话聚合计量
- 功能更新:AI Gateway 日志新增 Sessions 视图,将请求按会话分组,并展示会话亲和如何路由每一次请求。每行列出执行该会话的编码 Agent 或应用(如 Claude Code、Codex、Cursor),以及成本、模型、提供商和全部轮次中输入被缓存的比例。
- 会话详情:展开单个会话可查看缓存命中率、时长与路径;路径逐轮列出模型与耗时,并标明当前服务的提供商以及此前服务过的提供商。日志支持按轮次数、客户端、模型、提供商、鉴权方式或成本过滤,单轮会话在清除最小轮次过滤前默认隐藏。
- 亲和机制:会话亲和默认在文本与聊天请求上生效,作用是把每一轮发送给上一轮服务的同一提供商,使该提供商已持有大部分 prompt 缓存;停留在单一提供商的会话可从缓存中读到更多输入。需要自行分组时,可在每次请求的
providerOptions.gateway 中传入相同 sessionId,或使用相同 x-session-id 头;未传入的请求按会话开场内容的指纹分组,并以 fingerprinted sessions 形式呈现。
- 观察点:多轮 Agent 调用的计费与观测此前多停留在单次请求维度,缓存收益与提供商切换成本难以在账面上区分。把「会话」做成可查询单元后,缓存命中率、跨提供商迁移与单任务成本可以放在同一条记录里比较;而指纹兜底分组意味着即便客户端未做任何埋点,也能得到一份按对话切分的成本视图,但其归并准确度取决于开场内容是否足够区分。
🔗 Vercel Changelog | Sessions 视图文档 | 会话亲和说明