One-Shot Learning Meets Depth Diffusion in Multi-Object Videos

要約

さまざまな芸術的スタイルで複数のオブジェクト間の複雑な相互作用を描写する編集可能なビデオを作成することは、映画製作において長い間困難な課題でした。
進歩は、対になったテキストの説明と、これらのインタラクションを紹介する対応するビデオを含むデータセットの不足によって妨げられることがよくあります。
この論文では、事前トレーニングされた深度を意識した Text-to-Image (T2I) モデルを使用して、たった 1 つのテキストとビデオのペアから一貫性のある多様なビデオを生成できるようにすることで、この分野を大幅に進歩させる新しい深度コンディショニング アプローチを紹介します。
私たちの手法では、カスタム設計の空間的および時間的注意メカニズムを採用することで、事前トレーニングされたモデルを微調整して連続的な動きをキャプチャします。
推論中に、DDIM 逆変換を使用して、ビデオ生成の構造的なガイダンスを提供します。
この革新的な技術により、ビデオの奥行きを継続的に制御できるようになり、フォトリアリズム、アニメーション、印象派などのさまざまな芸術スタイルにわたって、元の T2I モデルのコンセプト生成と構成力を維持しながら、マルチオブジェクト インタラクションの生成が容易になります。

要約(オリジナル)

Creating editable videos that depict complex interactions between multiple objects in various artistic styles has long been a challenging task in filmmaking. Progress is often hampered by the scarcity of data sets that contain paired text descriptions and corresponding videos that showcase these interactions. This paper introduces a novel depth-conditioning approach that significantly advances this field by enabling the generation of coherent and diverse videos from just a single text-video pair using a pre-trained depth-aware Text-to-Image (T2I) model. Our method fine-tunes the pre-trained model to capture continuous motion by employing custom-designed spatial and temporal attention mechanisms. During inference, we use the DDIM inversion to provide structural guidance for video generation. This innovative technique allows for continuously controllable depth in videos, facilitating the generation of multiobject interactions while maintaining the concept generation and compositional strengths of the original T2I model across various artistic styles, such as photorealism, animation, and impressionism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google