微软 MAI-Base-2 披露技术细节与评测争议
- 前情提要：微软 AI 此前宣布 3T 参数级 SOTA 预训练基座 MAI-Base-2，称以少 12 倍训练算力匹配 DeepSeek-V4-Pro-Base 的 held-out code 分数。
- 最新细节：技术博客披露约 80B 激活参数、hybrid sliding-window 设计，使用 Muon 与 activation-gradient clipping，在约 40T 文本 token + 10T 多模态 token 上训练；训练使用 16k GB200s 运行 38 天。
- 争议：Bakouch 与 teortaxes 指出，bits-per-byte 对比使用 MAI 自己的验证数据，比较口径需进一步验证。 🔗 Mustafa Suleyman | 技术博客 | Bakouch 评论