DeepSeek 开源推理框架 DeepInfer：单集群日吞吐 155 万亿 Tokens，每卡每小时收入 38 美元
- 核心发布：DeepSeek 于 10 月 20 日开源内部推理框架 DeepInfer。据官方技术报告，单一集群每天服务吞吐达 155 万亿 Tokens；按谷价计算，整体收入为每卡每小时 38 美元。
- 技术范围：开放版本支持分布式推理、推测解码、异步调度与结构化输出，可在英伟达 SM100 GPU 与华为昇腾 950 NPU 上运行。
- 配套组件：同步开放的 deepseek-recipe 负责请求格式转换、Token 编解码与输出解析，与官方 API 的处理逻辑对齐。
- 行业意义：把内部推理栈连同单位经济数据一起开源，等于把“每卡每小时能挣多少”变成可比较的工程指标。对自建推理服务的团队来说，分布式调度与推测解码的现成实现可以直接复用；同时，跨英伟达与昇腾的硬件支持也给出了国产算力部署的具体路径。 🔗 爱范儿早报
