蚂蚁百灵开源 Ling-3.1-flash,量化部署测试降至 4 卡
- 开源信息:蚂蚁百灵 10 月 15 日开源 Ling-3.1-flash,权重已在 Hugging Face 和 ModelScope 开放下载。
- 模型规格:总参数约 5600 亿,每 token 激活约 250 亿,最高支持 100 万 token 上下文,面向办公、软件工程和工具调用。
- 部署优化:路由专家采用 MXFP4 量化,dense 层保持 block-FP8,权重占用从约 534GB 降至 292GB;在 Hopper GPU 测试配置中,服务部署由 8 卡降至 4 卡。
- 行业意义:开源大模型继续压缩自托管门槛,4 卡可部署意味着中等规模团队也能在自有基础设施中运行高参数 MoE。 🔗 爱范儿早报





