返回首页

研究:信息压缩压力可能让 AI 英文更难读

  • 研究设计:Thomas Hikaru Clark 等比较 14 个不同层次模型在聊天、编程和作文场景中的输出,以近似体裁的人类文本和英日往返翻译后的改写为参照,统计低频词组、较长句法依赖、名词堆叠等特征。
  • 主要发现:九个前沿或接近前沿的模型表现出更多低频词组和特定主谓搭配,但模型、特征与场景之间存在差异;研究者提出,面向数学、代码与可验证结果的训练可能鼓励信息压缩,而不总照顾读者工作记忆。
  • 机制实验:对 Qwen2.5-1.5B-Instruct 做强化学习,在结构化事件转英文任务中增加长度惩罚,模型随之更偏好省略可选成分等较短表达;该倾向能迁移到部分未训练结构,但远距离迁移并不普遍。
  • 边界:论文只分析英文,以与理解难度相关的语言特征作为间接指标,没有直接证明每位真人读者都更难理解,也未取得前沿模型完整后训练过程来识别因果。HN 热度 241 points、197 comments。 🔗 arXiv 论文 | HN 讨论