美团披露 SLM 推理引擎：Prefill-only 有效 MFU 67%，吞吐较 SGLang 提升 10 倍
- 核心发布：美团技术团队发布面向搜索推荐场景有界生成负载的 SLM 推理引擎，针对 Prefill-Only 与固定深度 Beam Search 重新设计在线执行路径。
- 工程路径：以静态 DAG 组织完整业务请求，结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享与选择性 FP8；C++ DAG Runtime 负责节点调度、资源管理与并发执行。
- 性能数据：约 0.6B 的 Prefill-Only 模型达到约 100 request QPS、约 1,500 sample/s；0.5B Beam Search 短/长 prompt 分别约 300/120 request QPS；三类负载平均端到端时延低于 20ms，P99 约 70ms；Prefill-only 有效 MFU 为 67%，约为 SGLang 的 10 倍，短 prompt Beam Search 有效 MFU 41%，约为 SGLang 的 6 倍。
- 行业含义：通用 LLM serving 的 continuous batching、paged KV cache 等优化并非为低延迟有界负载设计；按实际执行边界重构推理系统，可把参数效率转化为吞吐与显存收益。 🔗 美团技术团队
