Elorian 发布 Glimpse:DecoyCount 基准下前沿模型准确率不足 50%
- 核心发布:Elorian 推出首款视觉推理模型 Glimpse,主张模型应像人一样在推理过程中生成或编辑图像,而不仅把图像生成当作最终输出。
- 基准与数据:Elorian 与 Mercor 联合发布 DecoyCount 基准,测试语言模型是否真正数清物体,还是依赖视觉捷径与替代启发式。论文中前沿模型准确率均低于 50%,最高为 GPT-6 Astra 的 43.17%,Gemini-3.8-flash 为 32.71%,Qwen3.8-max 为 28.31%,Claude-Fable-5.1 为 25.22%。
- Glimpse 表现:Elorian 称 Glimpse 在 1,660 道 DecoyCount 题目的内部测试中得分 50.48%,是唯一超过 50% 的模型;但该结果为单次运行、未使用 agent 或工具 harness,论文中的六个模型则为三次运行平均。
- 方法差异:DecoyCount 试图把“看错”和“数错”分开评估。例如镜前苹果被数成两个,可能出在视觉感知,也可能出在推理判断;只检查最终数字会把两类错误混在一起。论文据此认为,更强的通用推理并不自动带来对齐的视觉推理。
- 行业意义:视觉推理若进入机器人、工程检查、建筑合规与防御场景,基准需要同时覆盖感知与判断,而非只测通用推理或图像描述。Elorian 还称 Glimpse 在 WGO Bench 与 ERQA 两个机器人基准上不弱于前沿模型且价格更低,该数据目前来自厂商口径。 🔗 Latent Space 报道 | Elorian Glimpse 发布博客 | DecoyCount 论文





