DeepSeek 开源 DeepInfer：当前版本仅提供离线推理
- 前情提要：DeepSeek 此前开源内部推理框架 DeepInfer，官方技术报告称单集群日吞吐 155 万亿 Tokens，按谷价每卡每小时收入 38 美元。
- 最新进展：本次公开说明补充了技术范围——支持 DeepSeek-V4.1-Flash、NVIDIA SM100 与华为昇腾 950，包含 DSpark、滑动窗口有界重放、异步调度与结构化输出；但开源版仅提供离线推理，完整在线服务所需的 KV 缓存系统、VE/Prefill/Decode 拆分部署及副本间负载均衡并未包含。
- 性能条件：README 性能测试使用预填充 4 张 SM100、解码 64 张 SM100，位于同一扩展互联域；运行依赖 Linux、Python 3.12、较新编译器及 CUDA 或 CANN 环境。
- 行业意义：此次开放的是核心推理内核而非完整生产服务；评估部署成本不能只看内核吞吐，还要计入缓存、调度、负载均衡与硬件环境。 🔗 DeepInfer GitHub | HN 讨论