Cerebras：59 片晶圆流水线部署约三万亿参数 Kimi K3
- 容量测算：单片 WSE-3T 有 44 GB 片上 SRAM，无法单独容纳万亿参数模型；文章以约三万亿参数 Kimi K3 为例，假设 4 位权重、8 位 KV 缓存、平均请求 256k。
- 布局：每层权重约 16 GB；69 个线性注意力层按每片两层安排，24 个全注意力层按每片一层并留 KV 缓存空间，共需 35+24=59 片晶圆。权重尽量常驻片上，晶圆间通过以太网 RDMA 传激活值，每跳约 2 微秒。
- 服务方式：不同流水线阶段同时处理不同请求，并可加入微批；较小微批追求单请求速度，较大微批提高吞吐，全注意力层缓存容量限制并发。
- 边界：官方称该架构可提供极高生成速度，但本文主要是布局与容量示例，未完整披露成本、预填充性能及故障恢复的独立基准。HN 热度 348 points、127 comments。 🔗 Cerebras 博客 | HN 讨论