PrismML Ternary Bonsai 2 新增 2B/4B/9B:三值权重压缩到亚 GB 级
- 发布内容:PrismML 在既有 27B 版本之外,为 Bonsai 2 家族新增 2B、4B 和 9B 三档模型。
- 技术路径:模型基于 Qwen3.5,把语言模型权重表示为 −1、0、1 三种取值,同时保留推理、视觉与工具使用能力,面向端侧应用提供不同体量选择。
- 体积数据:官方公布三种新增模型的语言权重文件分别为 0.43GB、0.95GB 和 2.00GB——这些数字不含视觉投影组件与运行缓存。
- 部署与许可:权重采用 Apache 2.0 许可证,提供预编译运行时,支持 CPU、GPU 与 Apple Silicon 路径,但必须选用支持 Bonsai 2 的三元推理版本。
- 行业含义:量化正在从 2-bit 继续走向三值表示,端侧权重被压到亚 GB 级。与 NVIDIA 把 74B-A9B 塞进 24GB 内存的 2-bit 路线并列,端侧部署的核心变量正从参数量转移到权重表示与推理运行时的适配程度。 🔗 模型合集 | 部署文档