返回首页

美团与北大 GeoRA 获 ACL 2026 杰出论文:为 RLVR 设计低秩适配

  • 方法核心:GeoRA 先用谱先验与欧氏先验定位 RLVR 偏好的稀疏更新区域,再用截断 SVD 压缩为低秩适配器,并冻结残差权重保持初始化函数不变。
  • 实验数据:在 1.5B 到 32B 的 Qwen 与 Llama 模型上,数学、医学、代码三类 RLVR 任务稳定优于 LoRA、PiSSA、MiLoRA 等低秩基线;相比全参微调,可训练参数降 99.5%,单步耗时降 19.9%,显存降 28.5%。
  • 业务应用:在 AI 骑手招聘的 Agentic RL 场景中,GeoRA 效果与全参训练相当,相比 LoRA 提升约 12%,显存较全参训练降低 54%。
  • 行业意义:LoRA 等低秩方法主要针对 SFT 设计,RLVR 的更新几何不同;GeoRA 把几何先验落到稠密低秩计算,避免稀疏微调“参数少但更慢”的问题。 🔗 美团技术团队