返回首页

Microsoft Project Perception:把模型视为 insider risk,用外部控制约束 Agent

  • 核心机制:Satya Nadella 介绍 Project Perception 的扩展,把模型当作内部风险源,通过外部控制评估 Agent 风险、收敛权限、遏制威胁。
  • 设计取向:不依赖模型自身的对齐与拒答,而是在模型之外建立一层持续评估与权限管控。
  • 行业意义:企业 Agent 的安全边界从"模型会不会做错"转向"系统能否在模型出错时限制影响范围";这与 Anthropic OSS Scanner、OpenCode 攻击事件形成同一方向——运行时控制正在取代对模型行为的单纯信任。 🔗 Satya Nadella 推文