Goodfire 长文详解神经元可解释性：48 倍压缩后仍个个清晰
- 前情提要：Goodfire 的 Nick Cammarata 此前称万亿参数级模型大部分神经元可读，而 2023 年他在 OpenAI 的自动化项目只能解释约 2% 神经元；该主张随后引发 Neel Nanda 等人的公开争论。
- 长文与核心主张：Cammarata 发布 65 分钟长文《Neural Networks Are Already Clean》，称现代视觉模型（如 ConvNeXt）末层 99%–100% 的神经元可给出清晰解释，问题不在网络本身，而在观测工具的精度。
- 经典案例反转：原「猫与汽车」神经元检测的是 V 字几何形状（正极）与圆形轮廓（负极），原作者当年的误读源于特征可视化算法为追求最高激活值而「奖励作弊」；「汽车与狗」案例实为检测「正面对镜头且两侧对称」的神经元，偏差源自数据集分布。
- 递归泛化与压缩实验：Cammarata 提出神经元像树枝一样沿特征轴延伸，并做了极限压力测试——把 InceptionV1 3b 层原本 480 个曲线检测神经元压到 10 个从零重训，10 个神经元个个清晰，只是各自负责的范围更宽；由此推论当年 SAE 拆出的「叠加特征」可能是工具自身制造的数学假象。
- 争议与作者承认的边界：Neel Nanda 指出双方讨论的不是同一种叠加——Cammarata 推翻的是「任意叠加」，而大模型靠「表征叠加」用少量神经元线性组合表达海量概念；弱激活中存有大量事实记忆，视觉模型证据不能直接外推到语言模型。Cammarata 承认多模态融合层未覆盖、语言模型缺少训练检查点数据，且在未压缩的原始层上 SAE 与原生神经元形状匹配度仍达 0.96–1.00。
- 行业含义：若结论被复现，可解释性团队的工作重心将从「用 SAE 解缠」转向直接观测原生电路，安全对齐的观测门槛会下降，架构搜索也可把可解释性列为与性能兼容的指标。 🔗 长文与项目页 | Neel Nanda 回应 | AI科技评论详解