OSV: One Step is Enough for High-Quality Image to Video Generation

要約

ビデオ普及モデルは、高品質のビデオを生成する上で大きな可能性を示しており、ますます人気が高まっています。
ただし、その本質的な反復性により、かなりの計算コストと時間コストが発生します。
推論ステップ (整合性蒸留などの手法を使用) や GAN トレーニングを削減することで、ビデオの普及を加速する取り組みが行われてきました (これらのアプローチでは、パフォーマンスやトレーニングの安定性の点で不十分なことがよくあります)。
この研究では、これらの課題に対処するために、整合性蒸留と GAN トレーニングを効果的に組み合わせた 2 段階のトレーニング フレームワークを導入します。
さらに、ビデオの潜在をデコードする必要性を排除し、最終的なパフォーマンスを向上させる、新しいビデオ弁別器の設計を提案します。
私たちのモデルは、わずか 1 ステップで高品質のビデオを生成でき、さらにパフォーマンスを向上させるために複数ステップの調整を実行できる柔軟性を備えています。
OpenWebVid-1M ベンチマークに関する定量的評価では、このモデルが既存の手法を大幅に上回るパフォーマンスを示しています。
特に、当社の 1 ステップ パフォーマンス (FVD 171.15) は、ちょう度蒸留ベースの手法である AnimateLCM (FVD 184.79) の 8 ステップ パフォーマンスを上回り、高度な Stable Video Diffusion (FVD 156.94) の 25 ステップ パフォーマンスに近づいています。

要約(オリジナル)

Video diffusion models have shown great potential in generating high-quality videos, making them an increasingly popular focus. However, their inherent iterative nature leads to substantial computational and time costs. While efforts have been made to accelerate video diffusion by reducing inference steps (through techniques like consistency distillation) and GAN training (these approaches often fall short in either performance or training stability). In this work, we introduce a two-stage training framework that effectively combines consistency distillation with GAN training to address these challenges. Additionally, we propose a novel video discriminator design, which eliminates the need for decoding the video latents and improves the final performance. Our model is capable of producing high-quality videos in merely one-step, with the flexibility to perform multi-step refinement for further performance enhancement. Our quantitative evaluation on the OpenWebVid-1M benchmark shows that our model significantly outperforms existing methods. Notably, our 1-step performance(FVD 171.15) exceeds the 8-step performance of the consistency distillation based method, AnimateLCM (FVD 184.79), and approaches the 25-step performance of advanced Stable Video Diffusion (FVD 156.94).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google