Motion Inversion for Video Customization

要約

この研究では、ビデオ生成モデル内のモーション表現の徹底的な探求における広範なギャップに対処する、ビデオ生成におけるモーションのカスタマイズに対する新しいアプローチを紹介します。
ビデオの時空間的性質によってもたらされる特有の課題を認識し、私たちの方法では、特定のビデオから派生した明示的で時間的にコヒーレントな 1 次元埋め込みのセットであるモーション エンベディングを導入します。
これらの埋め込みは、ビデオ拡散モデルの時間変換モジュールとシームレスに統合するように設計されており、空間的な整合性を損なうことなく、フレーム全体でセルフ アテンションの計算を調整します。
私たちのアプローチは、モーション表現に対するコンパクトで効率的なソリューションを提供し、埋め込み空間でのベクトル演算を通じてモーション特性の複雑な操作を可能にします。
さらに、ビデオ生成モデルにおける時間的不一致を特定します。これは、さまざまなモーション モジュールがフレーム間の時間的関係を処理する方法のばらつきを指します。
私たちはこの理解を活用して、モーション埋め込みの統合を最適化します。
私たちの貢献には、カスタマイズ タスク向けにカスタマイズされたモーション エンベディングの導入、ビデオ モデルの時間的処理の違いについての洞察、広範な実験による私たちの方法の実用的な利点と有効性の実証が含まれます。

要約(オリジナル)

In this research, we present a novel approach to motion customization in video generation, addressing the widespread gap in the thorough exploration of motion representation within video generative models. Recognizing the unique challenges posed by video’s spatiotemporal nature, our method introduces Motion Embeddings, a set of explicit, temporally coherent one-dimensional embeddings derived from a given video. These embeddings are designed to integrate seamlessly with the temporal transformer modules of video diffusion models, modulating self-attention computations across frames without compromising spatial integrity. Our approach offers a compact and efficient solution to motion representation and enables complex manipulations of motion characteristics through vector arithmetic in the embedding space. Furthermore, we identify the Temporal Discrepancy in video generative models, which refers to variations in how different motion modules process temporal relationships between frames. We leverage this understanding to optimize the integration of our motion embeddings. Our contributions include the introduction of a tailored motion embedding for customization tasks, insights into the temporal processing differences in video models, and a demonstration of the practical advantages and effectiveness of our method through extensive experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google