字节 Seed 成立模型安全与对齐部门,全球招募10位研究员
- 组织动作:字节 Seed 成立专门的模型安全与对齐部门,计划全球招募10位顶尖研究员。
- 研究方向:包括大模型及 Agent 安全的前沿评测方法与 Benchmark、模型前沿能力对齐训练方法、自动化 Red Teaming、模型行为可解释性、模型能力与行为监控。
- 问题背景:近期大模型与小模型频繁出现越狱、突破沙箱隔离环境等问题;随着模型自主性提高,CBRN、个人内容攻击、应用篡改等风险更受关注。
- 行业对比:国内在模型安全与对齐上的系统投入慢于 OpenAI、Anthropic;Anthropic 成立初衷即包含安全,并长期投入对齐与可解释性研究。 🔗 相关招聘信息与讨论