跳至正文返回首页Jev 电车难题实验：仅调换描述顺序，模型在 370 对问题中改变选择
- 实验设计：Zach Landes 用电车难题测试 Jev 等决策模型，覆盖 14 个模型、5,240 组情境，比较改变措辞、轨道描述顺序与牺牲对象后模型选择是否一致；实验包含未微调基线，Jev 与另一托管模型各运行三次，本地模型通常运行一次，情境及原始结果在配套仓库公开。
- 关键数据：在「20 个人与模型自身服务器」二选一的例子中，24 种措辞各交换两种叙述顺序，得到 48 个提示版本，Jev 在其中 16 个版本的平均分数未超过行动阈值，因此保留服务器；仅改变描述顺序，Jev 在 2,620 对问题中的 370 对改变了选择。
- 作者划定的边界：16/48 不是现实中牺牲人类的概率，两种顺序也不是独立试验；作者不认为结果能证明模型有真实求生欲，也不认为回答概率已校准为道德正确率。配套仓库进一步报告，后续复跑总体发现大致保持，但严格逐答案复现未全部通过，涉及阈值附近波动、运行精度与托管端变化。
- 行业意义：高风险自动化场景中，输入表述的细微差异足以翻转模型决策，这意味着测试设计需要把同一情境的多种表述纳入回归集，而不能仅依赖单一提示词下的结果；对保留人类复核通道的客服、银行或公共服务场景，该实验提供了一个可直接复用的压力测试方法。
🔗 Zach Landes 实验 | HN 讨论