NVIDIA Nemotron 3.5 Bolt 上线 Ollama:2-bit 量化装入 24GB 内存
- 前情提要:NVIDIA 此前发布 Nemotron 3.5 Bolt 24GB,采用 74B-A9B 参数配置,面向本地 Agent 任务,并针对 RTX Spark 优化。
- 最新突破:Ollama 宣布该模型现已上线,通过原生 2-bit 量化适配 24GB 内存,可与用户其他应用并行运行。
- 使用方式:运行
ollama run nemotron-3.5-bolt。 - 行业意义:本地 Agent 的运行门槛继续向消费级内存规格靠近;量化方式与推理工具链直接决定大参数 MoE 能否进入个人设备。 🔗 Ollama 推文