lightseekorg/tokenspeed

语言/许可： Python / MIT
总 Stars： 2.5k
仓库： GitHub

项目定位：
面向 AI Infra/推理服务团队：为 Agentic 工作负载提供高吞吐、低延迟的 LLM 推理引擎。与 vLLM/TensorRT-LLM 的差异在于控制面与执行面分离、kernel 模块化，并强调多硬件适配。

核心功能：

• 支持 Qwen、Kimi、GLM、DeepSeek、GPT-OSS、VLM 等模型 recipe，并跟进 NVIDIA/AMD 新硬件。
• 调度器采用 C++ 控制面 + Python 执行面，管理请求生命周期、KV Cache 所有权与重叠时序。
• 可插拔 kernel 系统，含针对 Blackwell 的 MLA 实现，支持异构加速器扩展。
• 兼容 vLLM 级易用性，SMG 集成 AsyncLLM 降低 CPU 侧请求处理开销。

技术亮点：
控制面/执行面分离，以 C++ 有限状态机在编译期约束请求与 KV Cache 资源复用，Python 执行面保留迭代速度；已进入 PyTorch 生态。