Through-The-Mask: Mask-based Motion Trajectories for Image-to-Video Generation

要約

ここでは、テキストによる説明に基づいて静止画像をリアルなビデオ シーケンスに変換する Image-to-Video (I2V) 生成のタスクについて考えます。
最近の進歩によりフォトリアリスティックな出力が生成される一方で、特に複数オブジェクトのシナリオでは、正確で一貫したオブジェクトの動きを持つビデオを作成するのに苦労することがよくあります。
これらの制限に対処するために、I2V 生成を次のように分解する 2 段階の構成フレームワークを提案します: (i) 明示的な中間表現生成段階、その後に (ii) この表現に条件付けされたビデオ生成段階。
私たちの主な革新は、中間表現としてマスクベースのモーション軌跡を導入したことです。これは、意味論的なオブジェクト情報とモーションの両方をキャプチャし、モーションとセマンティクスの表現力豊かでありながらコンパクトな表現を可能にします。
学習した表現を第 2 段階に組み込むために、オブジェクトレベルの注意目標を利用します。
具体的には、オブジェクト固有のプロンプトを対応する潜在空間領域に統合する、空間的なオブジェクトごとのマスクされたクロス アテンションの目標と、各オブジェクトのフレーム間の一貫性を確保するマスクされた時空間セルフ アテンションの目標を検討します。
私たちは、複数のオブジェクトと動きの多いシナリオを使用した困難なベンチマークで手法を評価し、提案された手法が時間的コヒーレンス、動きのリアリズム、およびテキスト プロンプトの忠実性において最先端の結果を達成することを経験的に実証します。
さらに、単一オブジェクトおよび複数オブジェクトの I2V 生成のための新しい挑戦的なベンチマークである \benchmark を紹介し、このベンチマークにおける私たちの方法の優位性を実証します。
プロジェクトページは https://guyyariv.github.io/TTM/ から入手できます。

要約(オリジナル)

We consider the task of Image-to-Video (I2V) generation, which involves transforming static images into realistic video sequences based on a textual description. While recent advancements produce photorealistic outputs, they frequently struggle to create videos with accurate and consistent object motion, especially in multi-object scenarios. To address these limitations, we propose a two-stage compositional framework that decomposes I2V generation into: (i) An explicit intermediate representation generation stage, followed by (ii) A video generation stage that is conditioned on this representation. Our key innovation is the introduction of a mask-based motion trajectory as an intermediate representation, that captures both semantic object information and motion, enabling an expressive but compact representation of motion and semantics. To incorporate the learned representation in the second stage, we utilize object-level attention objectives. Specifically, we consider a spatial, per-object, masked-cross attention objective, integrating object-specific prompts into corresponding latent space regions and a masked spatio-temporal self-attention objective, ensuring frame-to-frame consistency for each object. We evaluate our method on challenging benchmarks with multi-object and high-motion scenarios and empirically demonstrate that the proposed method achieves state-of-the-art results in temporal coherence, motion realism, and text-prompt faithfulness. Additionally, we introduce \benchmark, a new challenging benchmark for single-object and multi-object I2V generation, and demonstrate our method’s superiority on this benchmark. Project page is available at https://guyyariv.github.io/TTM/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google