美团披露 SLM 推理引擎，Prefill-only 有效 MFU 67%

2026/10/15 17:00

背景与问题：搜索推荐场景使用 0.5B~1B 的 SLM 做意图理解、相关性判断、生成式召回，在线平均端到端时延要求低于 20ms；通用推理框架面向开放式无界生成设计，调度、动态 shape 与请求拆分开销在该场景下成为负向优化。
系统设计：以静态 DAG 组织完整业务请求，模型计算由 PyTorch AOTInductor 编译为 AOTI 节点，C++ Runtime 负责节点调度、资源管理与并发；针对 Prefill-only 与固定 Beam Search 引入 Packed Prefill、请求内 shared-prefix K/V、固定 Beam 编译和选择性 FP8。
性能数据：约 0.6B 的 Prefill-only 模型达到约 100 request QPS，约 1,500 sample/s；短 prompt 与长 prompt Beam Search 分别约 300 和 120 request QPS；三类负载平均端到端时延低于 20ms，P99 约 70ms，Prefill-only 有效 MFU 67%，吞吐约为 SGLang 的 10 倍。
适用边界：该方案面向控制流和状态容量可在部署前确定的有界生成负载；开放式长文本、动态 decode、强依赖 continuous batching 等场景仍更适合 vLLM、SGLang 等通用系统。
行业意义：将推理系统设计与实际执行边界对齐，为搜推场景大规模部署 SLM 提供了可复用的工程路径，而不是继续套用通用 LLM serving 的优化假设。 🔗 美团技术团队原文