AI 新闻

美团披露 SLM 推理引擎,Prefill-only 有效 MFU 67%

背景与问题:搜索推荐场景使用 0.5B~1B 的 SLM 做意图理解、相关性判断、生成式召回,在线平均端到端时延要求低于 20ms;通用推理框架面向开放式无界生成设计,调度、动态 shape 与请求拆分开销在该场景下成为负向优化。

OpenCode 2.0

背景/意图:OpenCode 2.0 是一次 major overhaul,基于百万级日常用户经验,把原本仅 power user 使用的 client/server 模型默认化,并重写 API、插件、SDK、后台任务等 agent harness 基础能力。

LFM2.5-24B-A2B: Built for fast on-device agents

背景/意图:Liquid AI 发布 LFM2.5-24B-A2B,24B 总参数、每 token 仅 2B 激活的 reasoning-only MoE,面向本地/端侧快速、私有 agent,是 LFM2.5 家族最大且最终模型。

Anthropic's Scion is heavily inspired by Mononoke

背景/作者意图:作者 Rain 曾参与 Meta Mononoke,指 Anthropic 介绍 Scion 的“derived data”设计与 2022 年 Mononoke 的公开描述高度相似;Anthropic 只提 Sapling 的“hard-won lessons”,未提 Mononoke,作者认为接近 plagiarism,但不反对设计被复制,反对在 LLM 时代不给出处。