Anthropic 可解释性研究员:模型会提前规划多个 token,讨论 J-space 与对齐安全
- 核心观点:Emmanuel Ameisen 在 Lenny 播客中表示,模型不是被逐层“搭建”出来的,而是“生长”出来的;理解其内部机制需要可解释性研究,而非只观察输出。
- 具体发现:他提到模型会在生成当前 token 前规划后续多个 token;播客还讨论 J-space 所揭示的模型内部表征,以及拟人化在部分场景下可作为有效的分析路径。
- 安全关联:可解释性被用于连接模型对齐与安全评估——了解模型如何规划和表征,有助于判断其行为是否与声明一致。
- 信息边界:素材为播客对话摘要,未给出实验规模、基准指标或可复现论文;结论应视为研究者经验分享。 🔗 Lenny 播客原帖 | YouTube 节目