17岁研究者陈广宇离开 Kimi：曾参与 K3 与 Attention Residuals 研发

2026/10/15 18:24

离职信息：陈广宇（Nathan Chen）在 X 发布告别帖，宣布离开月之暗面 Kimi，并回顾在 Kimi 参与的多项研究；帖文感谢杜雨伦当年相信并聘用 16 岁的自己，下一站仅留下“More things to explore”。
在 Kimi 的核心工作：16 岁入职后，他参与优化 KDA（Kimi Delta Attention）高性能 Kernel，与苏剑林、张宇等人共同构思并完善 Attention Residuals 架构，同时参与优化器与训练动力学相关研究，并参与 Kimi K3 发布案例。
AttnRes 技术要点：Attention Residuals 针对 Transformer 沿用多年的等权残差连接，引入轻量级注意力打分为不同历史层分配权重；分块注意力残差将上百层网络拆分为区间块，降低全量注意力的平方级计算开销。
实测数据：在 Kimi 48B 模型上，AttnRes 使 GPQA-Diamond 从 36.9 提升至 44.4，增加 7.5 分；HumanEval 提升 3.1 分。相关论文作者包括陈广宇、苏剑林、张宇、杜雨伦、吴育昕与杨植麟。
行业观察：公开履历显示，头部模型团队已在底层内核、注意力架构与训练动力学等核心任务中启用极年轻研究者；陈广宇离职原因与下一站尚未披露，后续人才流向仍待确认。