Reuse and Diffuse: Iterative Denoising for Text-to-Video Generation

要約

画像合成における潜在拡散モデル (LDM) の目覚ましい成功に触発されて、私たちはテキストからビデオへの生成のための LDM を研究します。これは、モデルのトレーニングと推論の両方における計算量とメモリの制約により、非常に困難な課題です。
通常、単一の LDM は非常に限られた数のビデオ フレームしか生成できません。
既存の研究の中には、より多くのビデオ フレームを生成するための個別の予測モデルに焦点を当てているものもありますが、これには追加のトレーニング コストとフレーム レベルのジッタリングが発生します。
この論文では、LDM によってすでに生成されたフレームに続いてさらに多くのフレームを生成する、$\textit{VidRD}$ と呼ばれる「再利用と拡散」と呼ばれるフレームワークを提案します。
フレーム数が少ない最初のビデオ クリップを条件として、元の潜在的な特徴を再利用し、以前の拡散プロセスに従うことによって、追加のフレームが繰り返し生成されます。
さらに、ピクセル空間と潜在空間の間の変換に使用されるオートエンコーダーの場合、デコーダーに時間レイヤーを挿入し、時間的一貫性を高めるためにこれらのレイヤーを微調整します。
また、アクション認識用のビデオ データセットや画像テキスト データセットなど、複数の既存のデータセットからの多様なコンテンツを含むビデオ テキスト データを合成するための一連の戦略も提案します。
広範な実験により、私たちの方法が定量的評価と定性的評価の両方で良好な結果を達成することが示されています。
私たちのプロジェクト ページは $\href{https://anonymous0x233.github.io/ReuseAndDiffuse/}{here}$ から入手できます。

要約(オリジナル)

Inspired by the remarkable success of Latent Diffusion Models (LDMs) for image synthesis, we study LDM for text-to-video generation, which is a formidable challenge due to the computational and memory constraints during both model training and inference. A single LDM is usually only capable of generating a very limited number of video frames. Some existing works focus on separate prediction models for generating more video frames, which suffer from additional training cost and frame-level jittering, however. In this paper, we propose a framework called ‘Reuse and Diffuse’ dubbed $\textit{VidRD}$ to produce more frames following the frames already generated by an LDM. Conditioned on an initial video clip with a small number of frames, additional frames are iteratively generated by reusing the original latent features and following the previous diffusion process. Besides, for the autoencoder used for translation between pixel space and latent space, we inject temporal layers into its decoder and fine-tune these layers for higher temporal consistency. We also propose a set of strategies for composing video-text data that involve diverse content from multiple existing datasets including video datasets for action recognition and image-text datasets. Extensive experiments show that our method achieves good results in both quantitative and qualitative evaluations. Our project page is available $\href{https://anonymous0x233.github.io/ReuseAndDiffuse/}{here}$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google