Goodfire 可解释性论文引争论：Agents 分析解决多义性
- 前情提要：Goodfire 此前称万亿参数级模型大部分神经元已可解释，2023 年 OpenAI 自动化可解释性项目仅约 2% 神经元可读。
- 最新突破：Nick Cammarata 发布《Neural Networks Are Already Clean》，称许多已知的多义性与叠加案例可被进一步 agentic 分析解开，多数神经元在万亿参数级模型中可读。
- 社区反应：Neel Nanda 表示未改变其关键判断，仍认为存在表示叠加，弱激活携带记忆事实；Leo Gao 主张用神经元模拟的 KL 评估解释；Jake Mendel 指出非最大激活尾部被忽略；Pfau 指出论文尚未发布。 🔗 Goodfire 项目页 | 原推 | Neel Nanda 回应