跳至正文返回首页Notion AI 负责人主张部分 GPU 推理回归 CPU
- 核心主张：Notion AI 负责人 Sarah Sachs 在访谈中称，Notion 内部有一个明确判断——当前大量由 GPU 承载的任务，实际上应放到 CPU 上执行，因为直接运行代码能带来确定性与可观测性。
- Agent 执行方式：她认为 Agents 不需要每次都由 LLM 重新生成整套流程，这种做法消耗大量 token、速度慢，而且缺少可观测性与确定性；更合理的方式是给 Agent 一个本地文件系统，用于保存中间思考，并编写短 Python 脚本执行具体步骤。她称这已成为 Notion 内部 Agent 除编辑与搜索之外最重要的工具之一。
- 行业观察：这一主张把 Agent 工作流拆成两层——确定性、重复性的执行交给 CPU 与脚本，LLM 留在判断、生成与调度环节。对长流程 Agent 而言，这种分层可能同时影响 token 成本、执行延迟与故障可观测性；但当前仅为访谈观点，未给出任务比例、成本或延迟对比数据。
- 信息边界：素材来自 Akshay Kothari 对 MTSlive 访谈片段的转述，未披露具体实现架构、CPU/GPU 任务划分标准及可复现实验。
🔗 Akshay Kothari 原帖 | MTSlive 引用视频