vLLM v0.32.0 发布：多 API worker 吞吐提升 43–85%，预编译字节码缩短启动时间
- 核心更新：v0.32.0 包含 814 个 commit，新增
/v1/systemone结构化决策端点，跨硬件支持低精度 KV（含 ROCm 上的 NVFP4 与 4-bit KV）。 - 性能变化：Model Runner V2 加入 GPU n-gram speculator；多 API worker 带来 +43–85% 请求/秒。
- 启动优化：镜像中预编译 Python 字节码使启动时间降低 14–18%（H100 上约 18 秒）。
- 行业意义：推理引擎的更新节奏与模型发布同步，结构化决策端点意味着分类、路由与门控调用可以直接走 vLLM 入口，而不必额外维护一套服务；推理栈的标准化让"决策模型作为独立调用层"在部署侧更易落地。 🔗 vLLM 发布 | 启动优化