跳至正文返回首页斯坦福 CS336 第10讲“Inference”：一条主线梳理推理优化三层手段
- 课程主线：Percy Liang 在 Scaling Laws 前后两讲之间讲授 Inference，按“自回归 → 无法沿序列并行 → 算术强度低 → memory-bound → 一切优化 = 减少每步搬运的字节数”展开。
- 三层优化：架构层为有损手段，包括 GQA/MLA/CLA 降维、局部注意力截断、量化、剪枝蒸馏，目标是压小 KV cache 与参数并用评测证明准确率损失可控；算法层为无损的投机采样，用“验证快于生成”的不对称性换取精确加速；系统层包括连续批处理、分页、前缀共享、写时复制。
- 贯穿张力：课程明确讨论延迟 vs 吞吐（批大小）、速度 vs 准确率（每项有损技术）、新颖性 vs 可信度（GQA 与 MLA 论文结论相互冲突）。
- 结尾判断：Percy 认为 KV cache 本身就是 Transformer 对推理不友好的结构性根源；一个从第一天起就为推理设计的架构，如 SSM、线性注意力、扩散式非自回归生成，可能是该领域最大的改进空间。
- 行业意义：该讲把推理优化从零散技巧收束为内存带宽约束下的系统问题，并以可执行讲义呈现公式推导与断言验证；对 Agent 与长上下文部署，KV cache、批处理与投机采样仍是成本与延迟的核心变量。
🔗 课程视频 | CS336 讲义 | 转述帖
