返回首页

Nemotron 3.5 Super VL 补齐微调与部署链路:ms-swift 支持 LoRA,推理接入四类后端

  • 前情提要:NVIDIA 已开源 Nemotron 3.5 Super VL,为 120B 总参数、12B 激活的多模态 Agent 模型,支持文本、图像、图表、文档与视频理解;此后该模型陆续接入 LangChain Deep Agents、OpenRouter、Perplexity 与 Ollama。
  • 最新进展:NVIDIA 转述 ModelScope 的信息,ms-swift 现已支持该模型的推理与微调——开发者可用 LoRA 在自有领域数据上适配专用多模态应用;NVIDIA 侧同时给出 NeMo 路径,用于 SFT 与 RL 阶段的领域数据、工具、策略与工作流对齐。
  • 部署与量化:模型以 BF16 与 NVFP4 两种权重开放。NVFP4 侧搭配 QAD、多 token 预测与跨轮次上下文复用,用于减少重复推理;推理已支持 vLLM、SGLang、TRT-LLM 与 NIM,覆盖本地、数据中心与云环境。
  • 性能口径:官方称该模型在 Hermes Bench 与 LangChain 评测上超过体量大 5 倍的 Nemotron 3 Ultra,并在同尺寸档位提供最高 5 倍吞吐、Agent 任务完成快至 4 倍。以上均为模型方口径,暂未见第三方复现。
  • 观察点:开源模型的发布信息正从「权重与榜单」扩展到三项工程条件——能否微调、在哪套后端跑、量化后省多少。对中等规模团队而言,这三项比单点评测分数更决定模型能否真正进入自有流程,而非停留在托管 API 的调用层。 🔗 NVIDIA AI 推文 | ModelScope 模型合集 | ms-swift 仓库
Tweet ImageTweet ImageTweet ImageTweet Image