返回首页

斯坦福提出 Next-Concept Modeling:粗到细并行文本生成

  • 核心方法:斯坦福 AI Lab 与 HazyResearch 团队提出 Next-Concept Modeling(NCM),将文本生成从逐 token 顺序解码改为“先粗草图、后补细节”的并行生成框架。
  • 性能数据:与同参数规模扩散语言模型相比,NCM 在摘要、机器翻译等下游任务上最高快 31 倍,质量相当或更好;在 TinyStories、LM1B、OpenWebText 上,无条件生成快 10–21 倍,生成困惑度相当或更好,同时训练 token 用量少 3–5 倍。
  • 推理任务:在 Sudoku 等推理任务上,NCM 使用更少采样步数超过自回归与扩散基线。
  • 行业意义:该工作为并行文本生成提供了一条区别于扩散语言模型的路径,评测同时覆盖无条件生成、摘要、翻译与推理任务,速度、质量、训练 token 效率被放在同一组对比口径下。 🔗 Stanford AI Lab 公告 | 作者原帖与演示