跳至正文返回首页Nathan Lambert：中国模型差距主要在算力，蒸馏对后训练的作用被高估
- 人才与算力对比：Nathan Lambert 在 a16z 播客中认为，中国实验室的人才储备与美国相当，最明显的短板是算力。他转述一位中国顶尖预训练研究员的反应——听说 OpenAI 普通研究员可随时调用约 5000 张 H100 等效算力时，对方难以想象。
- 蒸馏的论证边界：过去用强模型回答做监督微调确实能提升性能，但今天的推理训练更依赖强化学习环境；按现有公开研究，不足以得出蒸馏是开放模型进步主因的结论。
- 进步来源：数学、编程等结果易验证的领域之外，生物、医疗、法律等方向需要高质量数据与可反复尝试的环境，为特定领域制作数据集、定义模型应有表现正成为实验室的重要工作，前沿模型的进步很大一部分归结于数据。
- RSI 的可观测性：Lambert 所在的 Trillium 计划公开训练工具、任务与模型执行轨迹，让外界看到模型做了什么、卡在哪里，使研究者和政策制定者不必只凭猜测判断 AI 自动化研究的进展。
- 风险判断：他认为模型能力增长曲线本身不一定令人担忧，真正的缺口在网络安全等领域的社会准备不足，风险已经存在并会继续扩散，需要更多研究与更多人参与。
🔗 播客：Can Open Models Keep Up With OpenAI and Anthropic?