腾讯视频开源 34 万条 Omni R2V 训练样本与 OmniVBench 评测基准
- 数据规模与形态：OmniR2V Dataset 基于腾讯视频版权素材构建，覆盖真人实拍、二维与三维动画，以 1080p、2160p 及以上分辨率为主，共 339,570 条处理后的训练样本。与仅提供原始视频链接的资源不同，该数据集直接给出「参考输入 + 训练指令 + 目标视频」的完整样本，标注以 JSONL 组织，含中英文 prompt、inputs 与 target 字段，并提供多组候选参考素材以支持单参考、多参考联合与组合训练。
- 七类任务覆盖：数据集按 Content、Motion、Style、Structure、Narrative、Multi-Content、Cross-Aspect 七类 R2V 任务构建，每类采用任务特定的构建流程——跨片段匹配、参考因素提取、逆向生成与质量筛选，把原始视频转化为具有明确参考关系的训练样本。
- 评测设计：OmniVBench 覆盖 7 大任务类别、18 个细分任务、813 个测试案例，从四个方向扩展评测范围：更广的参考类型（内容、运动、风格、结构、叙事）、更细的控制粒度（整体物体、材质、纹理、局部部件；人物单视角、多视角、定制修改、属性定位）、更多参考组合（Character–Scene、Character–Object–Scene 以及 Content-Style、Content-Structure）、更灵活的定制控制。关键参考信息不在文本中重复描述，以考察模型能否真正从参考中提取目标因素。
- 评分解耦为三维：提出 factor-grounded evaluation，按每个案例的参考角色、目标绑定关系与生成指令构建 12,172 个 case-specific checklist items，拆成 Reference Fidelity（参考因素是否保留）、Instruction Realization（参考与指令的控制关系是否正确实现）、Video Quality（最终视频质量）三个互补维度，从而区分「保留参考」与「正确解离、路由并执行指令」这两种不同能力。
- 评测结论：对多款开源与闭源视频生成模型的系统评测显示，当前模型在不同 R2V 任务上能力不均衡——内容参考相对成熟，运动、风格、结构、叙事及多参考组合仍有明显提升空间；且模型在 RF 与 IR 上表现不同步，能较好保留参考信息并不等于能正确完成参考因素的解耦与绑定。
- 行业意义：视频生成的控制接口正从单一文本提示扩展到「多份参考 + 组合绑定」，而此前公开训练数据与评测多围绕有限参考类型与简单控制设置构建。此次同时放出训练样本与分维度评测，使 R2V 的训练与评估有了可复现的同一套口径；对研究者而言更关键的是评测把「模型是否理解哪份参考控制哪个目标」变成了可逐项检查的条目，而非一个整体打分。
- 使用边界：数据集仅供科研使用，代码采用 Apache 2.0，模型权重与数据需分别查看许可条款；可通过 ModelScope SDK 下载，视频与参考素材按任务类别打包为 tar 文件存放于
assets_tar/目录。 🔗 原公告与数据集说明 | 数据集（ModelScope） | 论文