YC Paper Club 聚焦推理栈:从 API 请求到 GPU 的 token 路径
- 活动与参与方:Y Combinator 本周 Paper Club 以 inference 为主题,邀请 Together Compute、Ollama、Luminal、SGLang 与 RadixArk 的研究者和构建者,覆盖从 API 请求到 GPU 再返回的完整 token 路径。
- 推理经济性口径:YC 在推文中给出,每年每 1 FLOP 用于训练模型,约有 6 FLOP 用于 serving;过去十年围绕推理优化已产生超过 2200 亿美元市值。
- 议程重点:时间轴包括为何推理比训练更重要、三类推理创新、单次推理请求的生命周期、开放模型 token 并非等价、用搜索而非启发式编译模型,以及 SGLang 与 agent 时代的内存管理。
- 信息边界:推文未发布新模型、工具版本或基准结果,主要提供讨论框架与视频议程;上述 1:6 与 2200 亿美元为 YC 口径,未给出统计方法与样本。