Goodfire 研究者称万亿参数级模型大部分神经元已可解释
- 核心主张：前 OpenAI 研究员、现 Goodfire 的 Nick Cammarata 表示，最大 AI 模型并不一定是领域曾担心的黑箱。
- 前后对比：他 2023 年在 OpenAI 的自动化可解释性项目只能解释约 1.7% 的神经元；如今结合现代 agentic 工具重新检查，在最高达万亿参数的模型中，绝大多数神经元可读，内部电路清晰。
- 修正判断：不少著名的“纠缠神经元”案例被证明是误解；他原本预期的障碍大多不存在。
- 预测：他认为 ambitious interpretability 会在最需要它的时候被解决，且可能相当快，因为自动化科学家持续改进；可解释性可能呈现“简单方法在极端规模下有效”的 bitter lesson。
- 行业意义：若该判断被复现，可解释性工作的重点将从证明“黑箱不可打开”转向构建大规模自动化分析、验证与对齐工具。 🔗 原推文引用 | Nick Cammarata 原帖 | Goodfire 项目页