Anthropic 联合 Gray Swan 启动 30 万美元间接提示注入红队赛
- 核心事件:Anthropic 的 Boris Cherny 宣布与 Gray Swan 合办迄今规模最大、最贴近真实场景的 AI 红队挑战赛,主题为 Indirect Prompt Injection: Black。
- 参与方与奖金:Gray Swan 提供 30 万美元奖金,合作方包括 Anthropic、Meta、Google DeepMind、Reflection_ai 等前沿实验室。
- 安全背景:Boris 称 Claude 模型的提示注入防御已取得进展,但 Agent 能力扩展使行业层面解决该问题更加紧迫。
- 行业意义:间接提示注入涉及模型读取外部内容、工具调用与权限链;公开红队赛把攻击面发现从单实验室内部扩展到多实验室联合与社区参与。 🔗 Boris Cherny 推文 | Gray Swan 挑战赛
