淘宝 TaoMate-H3 开源:三步 LoRA 实现分钟级音视频流式生成
- 发布:大淘宝技术团队开源 TaoMate-H3,基于 MiniMax H3 的音视频联合流式生成模型,推理代码与 LoRA 权重已开放下载。
- 机制:通过少步 LoRA 将每个小片段的去噪过程压缩为三步,配合音视频 KV 缓存与 Self Forcing 自回归训练,实现边生成边播放;支持分段提示词编排、分钟级续写、480p/768p/1080p 横竖屏输出。
- 性能:在 8×H20 96GB 上,10 秒视频的纯 DiT 计算耗时从 169.6 秒降至 14.8 秒(11.45 倍),首段最终 latent 就绪时间从 170 秒降至 6.1 秒(27.66 倍)。
- 应用场景:电商讲解、人物演唱、动漫对白、环境音效与特效镜头均已有演示,模型基于 MiniMax H3 Community License。
🔗 大淘宝技术 | GitHub | Hugging Face