Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators

要約

最近のテキストからビデオへの生成アプローチは、計算負荷の高いトレーニングに依存しており、大規模なビデオ データセットが必要です。
このホワイトペーパーでは、テキストからビデオへのゼロショット生成という新しいタスクを紹介し、既存のテキストから画像への合成方法 (例: Stable
拡散)、ビデオ ドメインに適したものにします。
主な変更点としては、(i) 生成されたフレームの潜在コードをモーション ダイナミクスで強化して、グローバル シーンとバックグラウンド時間の一貫性を保つこと。
(ii) 前景オブジェクトのコンテキスト、外観、およびアイデンティティを維持するために、最初のフレームの各フレームの新しいフレーム間注意を使用して、フレームレベルの自己注意を再プログラミングします。
実験では、これによりオーバーヘッドが低く、高品質で非常に一貫性のあるビデオ生成が可能になることが示されています。
さらに、私たちのアプローチは、テキストからビデオへの合成に限定されるものではなく、条件付きおよびコンテンツに特化したビデオ生成、Video Instruct-Pix2Pix、つまり命令ガイド付きビデオ編集などの他のタスクにも適用できます。
実験が示すように、私たちの方法は、追加のビデオデータでトレーニングされていないにもかかわらず、最近のアプローチと同等か、時にはそれよりも優れたパフォーマンスを発揮します。
私たちのコードは、https://github.com/Picsart-AI-Research/Text2Video-Zero でオープン ソース化されます。

要約(オリジナル)

Recent text-to-video generation approaches rely on computationally heavy training and require large-scale video datasets. In this paper, we introduce a new task of zero-shot text-to-video generation and propose a low-cost approach (without any training or optimization) by leveraging the power of existing text-to-image synthesis methods (e.g., Stable Diffusion), making them suitable for the video domain. Our key modifications include (i) enriching the latent codes of the generated frames with motion dynamics to keep the global scene and the background time consistent; and (ii) reprogramming frame-level self-attention using a new cross-frame attention of each frame on the first frame, to preserve the context, appearance, and identity of the foreground object. Experiments show that this leads to low overhead, yet high-quality and remarkably consistent video generation. Moreover, our approach is not limited to text-to-video synthesis but is also applicable to other tasks such as conditional and content-specialized video generation, and Video Instruct-Pix2Pix, i.e., instruction-guided video editing. As experiments show, our method performs comparably or sometimes better than recent approaches, despite not being trained on additional video data. Our code will be open sourced at: https://github.com/Picsart-AI-Research/Text2Video-Zero .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google