EdgeRock-4B 开源：固定 KV 缓存，长推理吞吐提升 6.42 倍

2026/10/22 20:50

核心发布：岩山科技旗下岩芯矩阵联合香港科技大学、卡内基梅隆大学等高校，发布并开源 EdgeRock-4B。模型由 Qwen3.5-4B 转换而来，核心是团队提出的记忆岩锚（RMA）。
技术机制：世界状态由递推状态、局部窗口与锚点库组成。RMA 每处理 256 个 token 做一次取舍，每个 KV 组保留得分最高的 1024 条锚点，使每条序列的注意力 KV 固定在 72 MiB，不随上下文增长。
性能数据：在 256K 上下文下，每条序列 KV Cache 比来源模型少 99.1%；同一张 GPU 上长推理吞吐达 12,124 token/s，为来源模型的 6.42 倍；AIME 2024–2026 平均一次通过率为 82.9%。
服务侧变化：官方测试中，一张卡同时跑 512 条 32K 输入、32K 输出长推理时，EdgeRock-4B 连同权重显存峰值约 61 GiB；来源模型仅 KV Cache 就约需 1 TiB，相当于 13 张 80GB 显卡。
行业意义：该路线不压缩持续增长的缓存，而是把记忆容量固定下来。对需要长期运行的 Coding Agent、具身巡检等长任务，内存不再随上下文线性膨胀，单卡可承载的并发与单位 token 成本随之改变。团队下一步将把方法迁移至 27B 等更大模型，并探索 DiffusionRock 与 Model on Chip 路线。