AI 客栈
返回首页

阿里通义开源 OpenGCUA：通用计算机使用智能体完整技术栈，OSWorld-v2 平均分提升 19.6

  • 核心发布：阿里通义 MAI-UI 团队开源通用计算机使用智能体技术栈「OpenGCUA」，包含 harness、跨设备 SDK、原生 macOS 应用、评测轨迹与参考 agent 实现。
  • 定义差异：传统 CUA 基本等价于“看截图、点按钮”的 GUI 智能体；OpenGCUA 定义的 GCUA 可综合调度无障碍树、应用 API、shell 命令与 GUI 操作。模型在每一步自主决定观察什么（按需调用 screenshot，而非每步强制截图）、如何行动（编写带循环与条件判断的 Python 程序编排操作）、如何组织工作（维护 todo 列表并声明 intent）。
  • 实验数据：在 OSWorld-v2 上对 8 个前沿模型评测，平均 partial score 从 45.3 升至 64.9（+19.6），每任务步数平均减少 53%；弱模型受益最大，GLM-5.3-Flash 提升 35.2 分，强弱模型差距从 39.1 缩小到 18.0。代码执行范式比 GUI+CLI 混合再加 6.1 分、步数再降 14.8%。
  • 真机发现：真机 macOS 测试显示，同一 harness 下 Qwen3.8-Max 消耗的推理 token 是 GPT-6 Astra 的 19.4 倍，4 个任务只完成 3 个——真实设备上的效率差距远大于基准分数所反映的。
  • 行业观察：代码执行与 harness-to-model 决策转移把纯 GUI、CLI、混合智能体统一为 GCUA 框架的特例。弱模型可靠写程序弥补感知-点击精度不足，对开源生态是重要信号；真机测试则提示基准分数可能掩盖单位任务的成本与可靠性差异。 🔗 原推文 | 开源地址
Tweet Image