Make-Your-Video: Customized Video Generation Using Textual and Structural Guidance

要約

私たちの想像の中の出来事やシナリオから鮮やかなビデオを作成することは、本当に魅力的な経験です。
テキストとビデオの合成における最近の進歩により、プロンプトのみでこれを実現できる可能性が明らかになりました。
テキストはシーン全体のコンテキストを伝えるのに便利ですが、正確に制御するには不十分な場合があります。
このペーパーでは、テキストをコンテキストの説明として利用し、モーション構造 (例: フレームごとの深度) を具体的なガイダンスとして利用することにより、カスタマイズされたビデオ生成を検討します。
Make-Your-Video と呼ばれる私たちの手法には、静止画像合成用に事前トレーニングされた後、時間モジュールの導入によってビデオ生成用に促進される潜在拡散モデルを使用した結合条件付きビデオ生成が含まれます。
この 2 段階の学習スキームは、必要なコンピューティング リソースを削減するだけでなく、画像データセットで利用できる豊富な概念をビデオ生成のみに移すことでパフォーマンスも向上します。
さらに、シンプルかつ効果的な因果的注意マスク戦略を使用して、より長いビデオ合成を可能にし、潜在的な品質劣化を効果的に軽減します。
実験結果は、特に時間的一貫性とユーザーのガイダンスへの忠実性の点で、既存のベースラインよりも私たちの方法が優れていることを示しています。
さらに、私たちのモデルは、実用的な使用の可能性を示すいくつかの興味深いアプリケーションを可能にします。

要約(オリジナル)

Creating a vivid video from the event or scenario in our imagination is a truly fascinating experience. Recent advancements in text-to-video synthesis have unveiled the potential to achieve this with prompts only. While text is convenient in conveying the overall scene context, it may be insufficient to control precisely. In this paper, we explore customized video generation by utilizing text as context description and motion structure (e.g. frame-wise depth) as concrete guidance. Our method, dubbed Make-Your-Video, involves joint-conditional video generation using a Latent Diffusion Model that is pre-trained for still image synthesis and then promoted for video generation with the introduction of temporal modules. This two-stage learning scheme not only reduces the computing resources required, but also improves the performance by transferring the rich concepts available in image datasets solely into video generation. Moreover, we use a simple yet effective causal attention mask strategy to enable longer video synthesis, which mitigates the potential quality degradation effectively. Experimental results show the superiority of our method over existing baselines, particularly in terms of temporal coherence and fidelity to users’ guidance. In addition, our model enables several intriguing applications that demonstrate potential for practical usage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google