跳至正文返回首页Google 开源 TorchTPU：原生 PyTorch 路径接入 TPU，SGLang 插件已在 Meta 生产推理
- 核心发布：Google 开源 TorchTPU，支持通过常规 PyTorch 工具链训练与 serving，降低 TPU 对 XLA 专用栈的依赖。
- 生产信号：SGLang 的 TorchTPU 插件据称已在 Meta 生产推理中使用，支持多款当前开放模型；其自定义 MegaKernel 在 8K 输入/1K 输出、batch size 1 下对 Muse Spark Open 达到 770 decode tokens/s 的宣称值。
- 配套支持：vLLM-TorchTPU 增加 prefix caching、speculative decoding 与 disaggregated serving，TPU 推理栈开始补齐主流 serving 优化。
- 行业意义：TPU 从专用训练/推理栈向 PyTorch 生态靠近，非英伟达硬件的迁移门槛下降；上述吞吐为厂商或项目方宣称值，仍需按模型、负载与版本复现。
🔗 Google Cloud | SGLang | vLLM