京东零售提出 FlowTrain 分离式多模态训练框架

核心亮点：把 encoder 与 LLM backbone 从 batch 级同步流水线改成生产者—消费者数据流，在国产芯片超节点上把 VLM-72B 的 MFU 提到 52.9%，最高吞吐提升 1.7 倍。

• 核心发布：FlowTrain 面向视觉语言模型训练中 encoder 与 LLM backbone 同步等待、异构模块并行策略难统一、变长样本负载不均等问题，将训练流程重构为生产者—消费者数据流；论文已被 EMNLP 2026 Industry Track 接收。
• 三项机制：Unified Memory Pool 用 64 位全局虚拟地址统一管理跨节点 HBM 与 DRAM，让 backbone 无需等待完整 batch 的 encoder 输出；Heterogeneous Parallel Allocator 以小规模 profiling 建立吞吐代理模型，再用 MILP 为 encoder 与 backbone 选择差异化并行配置；Dynamic Packing Scheduler 在编码后按 LLM 侧真实计算成本动态构造 microbatch，结合 segment tree best-fit 与 zig-zag dispatch 降低 padding 和 PP/DP 负载不均。
• 实测数据：VLM-72B 在 InfoVQA 与工业数据集上 MFU 分别达 52.9% 和 50.0%，Megatron-LM 为 31.2% 和 36.9%；吞吐最高提升 1.7 倍和 1.4 倍，且模型规模越大与基线差距越明显。VLM-32B 在不同集群规模下 MFU 均高于 53%，吞吐提升 1.1—1.4 倍；与纯 LLM 训练的平均 MFU 差距为 5.0 个百分点，低于 Megatron-LM 的 18.7 和 DistTrain 的 12.1。
• 业务落地：在京东 JoyAI-OxygenVLM 电商多模态 32B Dense 与 35B-A3B MoE 模型上，训练吞吐分别提升 1.7 倍和 1.4 倍；OxyEcomBench 零售电商评测达到 SOTA，已支持 AI 图搜、商品素材质检、穿搭推荐等 7 个以上业务场景，AI 图搜相比线上 UCVR 核心指标置信提升 +2.24%。
• 工程边界：实验基于国产芯片超节点、MemFabric 内存池化与 MindSpeed MM 软件栈，数据来自团队论文与自述；公开材料未给出跨厂商硬件复现、端到端训练成本与长周期稳定性数据。
• 行业意义：这项工作把多模态训练效率问题落到内存寻址、异构并行分配与动态打包三个系统组件上，并给出在国产算力栈上的工业负载结果；对需要在异构集群上训练 VLM 的团队，可复用点在于用全局内存池解耦模块同步，而非只替换某个算子。 🔗 京东技术原文 | 论文 PDF