美团 SLM 推理引擎：20ms 时延下有效 MFU 67%，吞吐为 SGLang 10 倍
- 工作负载：面向搜索推荐中的有界生成负载，即 Prefill-Only 或固定 decode 次数的 Beam Search，执行结构与状态容量可在部署前确定。
- 系统设计：以静态 DAG 组织完整业务请求，使用 AOTInductor 编译模型节点、Packed Prefill、请求内 shared-prefix K/V、固定 Beam Search 编译与选择性 FP8。
- 性能数据：Prefill-Only 约 100 request QPS（约 1500 sample/s）；短/长 prompt Beam Search 约 300/120 request QPS；三类负载平均端到端时延低于 20ms、P99 约 70ms。Prefill-Only 混合精度有效 MFU 67%，约为 SGLang 10 倍。
- 行业意义：通用 LLM serving 的 continuous batching 与 paged KV 优化并不适配有界短生成负载；将固定控制流前移到编译阶段、按完整请求调度，是压缩时延与推理成本的一条工程路径。 🔗 美团技术团队
