From Slow Bidirectional to Fast Causal Video Generators

要約

現在のビデオ拡散モデルは、優れた生成品質を実現していますが、双方向の注意の依存関係により、インタラクティブなアプリケーションでは困難を伴います。
単一フレームを生成するには、モデルが将来を含むシーケンス全体を処理する必要があります。
私たちは、事前にトレーニングされた双方向拡散トランスフォーマーを、オンザフライでフレームを生成する因果トランスフォーマーに適応させることで、この制限に対処します。
レイテンシーをさらに短縮するために、分布マッチング蒸留 (DMD) をビデオに拡張し、50 ステップの拡散モデルを 4 ステップのジェネレーターに蒸留します。
安定した高品質の蒸留を可能にするために、教師の ODE 軌跡に基づく学生初期化スキームと、双方向の教師による因果関係のある学生モデルを監視する非対称蒸留戦略を導入します。
このアプローチは、自己回帰生成におけるエラーの蓄積を効果的に軽減し、短いクリップでのトレーニングにもかかわらず長時間のビデオ合成を可能にします。
私たちのモデルは、KV キャッシュのおかげで、単一 GPU 上で 9.4 FPS での高品質ビデオの高速ストリーミング生成をサポートしています。
私たちのアプローチでは、ビデオからビデオへの翻訳、画像からビデオへのストリーミング、およびゼロショット方式での動的なプロンプトも可能になります。
将来的にはオープンソースモデルに基づいてコードを公開する予定です。

要約(オリジナル)

Current video diffusion models achieve impressive generation quality but struggle in interactive applications due to bidirectional attention dependencies. The generation of a single frame requires the model to process the entire sequence, including the future. We address this limitation by adapting a pretrained bidirectional diffusion transformer to a causal transformer that generates frames on-the-fly. To further reduce latency, we extend distribution matching distillation (DMD) to videos, distilling 50-step diffusion model into a 4-step generator. To enable stable and high-quality distillation, we introduce a student initialization scheme based on teacher’s ODE trajectories, as well as an asymmetric distillation strategy that supervises a causal student model with a bidirectional teacher. This approach effectively mitigates error accumulation in autoregressive generation, allowing long-duration video synthesis despite training on short clips. Our model supports fast streaming generation of high quality videos at 9.4 FPS on a single GPU thanks to KV caching. Our approach also enables streaming video-to-video translation, image-to-video, and dynamic prompting in a zero-shot manner. We will release the code based on an open-source model in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google