FIFO-Diffusion: Generating Infinite Videos from Text without Training

要約

テキスト条件付きビデオ生成のための事前トレーニング済み拡散モデルに基づく新しい推論手法を提案します。
FIFO 拡散と呼ばれる私たちのアプローチは、概念的には追加のトレーニングなしで無限に長いビデオを生成することができます。
これは、キュー内のノイズ レベルが増加する一連の連続フレームを同時に処理する、対角ノイズ除去を反復的に実行することによって実現されます。
私たちの方法では、完全にノイズ除去されたフレームを先頭でデキューし、新しいランダム ノイズ フレームを末尾でエンキューします。
ただし、斜めのノイズ除去は両刃の剣です。テール付近のフレームは前方参照によってよりクリーンなフレームを利用できますが、そのような戦略はトレーニングと推論の間に不一致を誘発します。
したがって、トレーニングと推論のギャップを減らすために潜在的な分割を導入し、前方参照の利点を活用するために先読みノイズ除去を導入します。
実際には、FIFO 拡散は、ベースライン モデルが与えられたターゲット ビデオの長さに関係なく、一定量のメモリを消費しますが、複数の GPU での並列推論に適しています。
我々は、既存のテキストからビデオへの生成ベースラインに対する提案された方法の有望な結果と有効性を実証しました。
生成されたビデオサンプルとソースコードはプロジェクトページから入手できます。

要約(オリジナル)

We propose a novel inference technique based on a pretrained diffusion model for text-conditional video generation. Our approach, called FIFO-Diffusion, is conceptually capable of generating infinitely long videos without additional training. This is achieved by iteratively performing diagonal denoising, which concurrently processes a series of consecutive frames with increasing noise levels in a queue; our method dequeues a fully denoised frame at the head while enqueuing a new random noise frame at the tail. However, diagonal denoising is a double-edged sword as the frames near the tail can take advantage of cleaner ones by forward reference but such a strategy induces the discrepancy between training and inference. Hence, we introduce latent partitioning to reduce the training-inference gap and lookahead denoising to leverage the benefit of forward referencing. Practically, FIFO-Diffusion consumes a constant amount of memory regardless of the target video length given a baseline model, while well-suited for parallel inference on multiple GPUs. We have demonstrated the promising results and effectiveness of the proposed methods on existing text-to-video generation baselines. Generated video samples and source codes are available at our project page.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google