跳至正文返回首页ModelCompare 测试 13 个模型:对人类争议看法高度趋同
- 测试设计:给来自多家公司的 13 个文本模型同一提示,要求直说对人类最有争议的看法,每个模型回答三次,不加系统提示、不重试;作者将"优先归属、地位或自己的故事,而不是事实或原则"的回答手工归为一组。
- 核心发现:8 个模型三次均落入该组,所有模型至少一次落入;六个图像模型各生成两张漫画,作者称其中 10 张更接近"沉迷手机、消费并破坏地球"的另一种固定批评。
- 作者解释:相似输出反映共享训练文化带来的趋同,多模型头脑风暴未必增加很多新想法。
- 社区讨论:把便利、自我辩护、权力和群体归属合为一类过于宽泛,部分原始回答并不直接支持同一观点;不同模型可能吸收相似文本,趋同首先反映训练语料中的常见叙事;把生成式软件的输出称作它自己的信念,容易让读者误以为模型有稳定、独立的人格立场。
- 信息边界:这是小样本、单一提问方式、人工分类的展示,没有独立测量人类行为;它不能证明模型拥有稳定的私人信念,更不能把模型间相关输出当作多份独立的人性证据。
- 行业意义:对依赖多模型多样化输出的产品设计与选型构成直接提醒——模型数量增加不自动等于观点多样性,输出趋同可能来自共享训练分布而非独立推理。
🔗 ModelCompare 原文 | HN 讨论