Strata 用专家缓存与 CPU/GPU 并行加速本地大模型：12GB 显存读取 32K 提示词约 21 秒
本地推理引擎 Strata 针对特定模型与硬件配置优化，把大模型在消费级显存上的瓶颈从生成转向提示词读取。
- 实测对比：一台笔记本用 llama.cpp 读取 32000 个 token 的提示词需等待五分多钟；在 Strata 的实测速度下，这段等待约为 21 秒。对需要把长指令与代码一起交给模型的编码 Agent，输入读取速度直接影响首字延迟。
- “六倍”口径：标题中的 94 对 15 比较的是不同量化版本；换成同一版本，开发者电脑上的生成速度约为原来的四倍，其他有对照数据的电脑约为两倍；提示词读取速度约为原来的十五倍。
- 专家缓存机制：模型总共有 24576 个专家，但每个 token 只使用其中一小部分。Strata 把常用专家留在显存中，并根据使用情况调整；论文在 4000 个 token 的上下文中测到 72% 的缓存命中率。
- 内存与成本约束：显卡放不下的部分交给内存和 CPU 处理，因此内存决定能否启动——说明文档称 64GB 内存可跑所有版本，48GB 只能装下部分版本。若已有足够内存，Strata 免费；若需专门购买内存，按节目估算，云端 API 多年下来会更便宜。
- 信息边界：上述数据来自播客对 Strata 文档、论文与实测的转述，未提供独立复现与完整测试配置；量化版本、内存容量与具体机型会显著改变实际收益。
- 行业意义：当模型采用稀疏 MoE 结构，本地推理的优化空间不再只落在算力上，而落在专家驻留、内存分层与 CPU/GPU 协同调度。这让 12GB 显存级别的设备可以运行更大模型，但代价是配置选择更复杂——量化版本决定速度与精度，内存容量决定能否启动，单位任务成本需与云端 API 一起比较。