Searching Priors Makes Text-to-Video Synthesis Better

要約

ビデオ普及モデルの大幅な進歩により、テキストからビデオへの (T2V) 合成の分野に大きな進歩がもたらされました。
ただし、既存の T2V 合成モデルは複雑なモーション ダイナミクスを正確に生成するのが難しく、ビデオのリアリズムが低下します。
考えられる解決策の 1 つは、大量のデータを収集し、そのデータに基づいてモデルをトレーニングすることですが、これには非常にコストがかかります。
この問題を軽減するために、このホワイト ペーパーでは、典型的な T2V 生成プロセスを検索ベースの生成パイプラインとして再定式化します。
モデルのトレーニングをスケールアップする代わりに、既存のビデオをモーション事前データベースとして採用します。
具体的には、T2V 生成プロセスを 2 つのステップに分割します。 (i) 特定のプロンプト入力に対して、既存のテキストビデオ データセットを検索して、プロンプトの動きによく一致するテキスト ラベルを持つビデオを見つけます。
物体の動きの特徴を強調した、カスタマイズされた検索アルゴリズムを提案します。
(ii) 取得したビデオは、事前トレーニング済みのベース T2V モデルを微調整する前に処理および抽出されて動きとなり、その後、入力プロンプトを使用して目的のビデオが生成されます。
検索されたビデオから収集された事前分布を利用することで、生成されたビデオの動きのリアリズムが向上します。
すべての操作は 1 つの NVIDIA RTX 4090 GPU で完了できます。
さまざまなプロンプト入力にわたる最先端の T2V モデルに対してメソッドを検証します。
コードは公開されます。

要約(オリジナル)

Significant advancements in video diffusion models have brought substantial progress to the field of text-to-video (T2V) synthesis. However, existing T2V synthesis model struggle to accurately generate complex motion dynamics, leading to a reduction in video realism. One possible solution is to collect massive data and train the model on it, but this would be extremely expensive. To alleviate this problem, in this paper, we reformulate the typical T2V generation process as a search-based generation pipeline. Instead of scaling up the model training, we employ existing videos as the motion prior database. Specifically, we divide T2V generation process into two steps: (i) For a given prompt input, we search existing text-video datasets to find videos with text labels that closely match the prompt motions. We propose a tailored search algorithm that emphasizes object motion features. (ii) Retrieved videos are processed and distilled into motion priors to fine-tune a pre-trained base T2V model, followed by generating desired videos using input prompt. By utilizing the priors gleaned from the searched videos, we enhance the realism of the generated videos’ motion. All operations can be finished on a single NVIDIA RTX 4090 GPU. We validate our method against state-of-the-art T2V models across diverse prompt inputs. The code will be public.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google