Meta 发布下一代 Andromeda：单 GPU 流水线吞吐超 10 亿广告/秒
- 核心发布：Meta 公布下一代个性化广告检索系统 Andromeda，目标是在检索阶段以接近排序阶段的模型表现完成候选广告评分。官方称生产系统在单台 GPU 服务器上每秒评分超过 10 亿条广告，较 2024 版 Andromeda 吞吐提升 100 倍。
- 模型架构：新版引入 Retrieval Mixture-of-Experts，将用户建模从单一用户塔扩展为多个专用用户专家塔，并结合候选广告联合编码与 MoE 注意力门控网络，按候选动态路由至相关用户专家。官方称其推理 FLOPs 较 2024 版减少约 300 倍。
- 系统协同设计：系统将索引匹配、融合评分与 top-K 选择收敛到同一 GPU 服务器，减少主机与远程加速器之间的候选列表传输，官方称网络流量降低约 100 倍；单 GPU kernel 将嵌入读取、交互模型与评分放在一次执行中完成，避免中间张量写入 HBM。
- 硬件优化数据：在与 NVIDIA 的联合优化中，交互网络门控 kernel 吞吐从 24 亿广告/秒提升至超过 100 亿广告/秒，达到约 85% 的 GPU 峰值 HBM 带宽；INT8 量化在保持精度的情况下带来最高 2 倍吞吐提升。索引匹配吞吐提升至超过 1000 亿广告/秒。
- 业务结果：Meta 称自 2025 年以来，Andromeda 在 Facebook 上带来 2.4% 的转化率提升；广告主可在相同延迟预算下，让检索系统在更大的候选池中完成匹配。
- 行业意义：这条工程披露把大规模检索系统的性能提升拆成模型架构、系统流水线与 GPU 硬件三层协同，而不是单独替换模型或算子。对构建推荐、搜索与广告系统的团队，内存带宽和跨节点数据传输仍是吞吐瓶颈；将索引匹配与评分收敛到单 GPU 流水线，是降低网络与 HBM 流量的具体路径。 🔗 Engineering at Meta
