美团与北大 GeoRA 获 ACL 2026 杰出论文:为 RLVR 重设低秩适配
- 核心发布:GeoRA 是首个面向 RLVR 优化几何设计的低秩训练方法,由美团与北京大学研究者提出,获 ACL 2026 杰出论文。
- 方法设计:用谱先验与欧氏先验定位 RLVR 偏好的稀疏更新区域,再用截断 SVD 压缩为低秩适配器,并冻结残差锚点,使初始化时函数不变。
- 实验数据:在 1.5B 至 32B 的 Qwen 与 Llama 模型上,数学、医学、代码三类 RLVR 任务稳定优于 LoRA、PiSSA、MiLoRA;相比全参微调,可训练参数降低 99.5%,单步耗时降低 19.9%,显存占用降低 28.5%;业务 AI 骑手招聘的 Agentic RL 场景相比 LoRA 提升约 12%,显存相比全参训练降低 54%。
- 行业含义:RLVR 与 SFT 的优化几何存在差异,直接套用为 SFT 设计的低秩先验会造成几何错位;把稀疏子空间落成稠密低秩计算,才能同时获得效果与速度。 🔗 美团技术团队





