MagicStick: Controllable Video Editing via Control Handle Transformations

要約

テキストベースのビデオ編集は、スタイルを変更したり、オブジェクトを同様の構造に置き換えたりすることに最近大きな関心を集めています。
これに加えて、形状、サイズ、位置、動きなどのプロパティもビデオで編集できることを示します。
私たちの重要な洞察は、特定の内部特徴 (オブジェクトのエッジ マップや人間のポーズなど) のキーフレーム変換が他のフレームに簡単に伝播して、生成ガイドを提供できるということです。
そこで我々は抽出した内部制御信号の変換を利用して映像プロパティを編集する制御可能な映像編集手法MagicStickを提案する。
詳細には、外観を維持するために、事前トレーニングされた画像拡散モデルと ControlNet の両方を時間次元にインフレートし、特定のシーンに適合するように低ランク適応 (LORA) レイヤーをトレーニングします。
次に、編集では反転と編集フレームワークを実行します。
これとは異なり、微調整された ControlNet は、反転と編集の空間注意マップ間の提案された注意リミックスによる注意ガイダンスの反転と生成の両方に導入されています。
簡潔ですが、私たちの方法は、事前トレーニングされたテキストから画像へのモデルからビデオプロパティを編集できることを示す最初の方法です。
統一されたフレームワーク内での多数の例に関する実験を紹介します。
また、形状を意識したテキストベースの編集や手作りのモーション ビデオ生成と比較し、以前の作品よりも優れた時間的一貫性と編集能力を実証しました。
コードとモデルは https://github.com/mayuelala/MagicStick で入手できます。

要約(オリジナル)

Text-based video editing has recently attracted considerable interest in changing the style or replacing the objects with a similar structure. Beyond this, we demonstrate that properties such as shape, size, location, motion, etc., can also be edited in videos. Our key insight is that the keyframe transformations of the specific internal feature (e.g., edge maps of objects or human pose), can easily propagate to other frames to provide generation guidance. We thus propose MagicStick, a controllable video editing method that edits the video properties by utilizing the transformation on the extracted internal control signals. In detail, to keep the appearance, we inflate both the pretrained image diffusion model and ControlNet to the temporal dimension and train low-rank adaptions (LORA) layers to fit the specific scenes. Then, in editing, we perform an inversion and editing framework. Differently, finetuned ControlNet is introduced in both inversion and generation for attention guidance with the proposed attention remix between the spatial attention maps of inversion and editing. Yet succinct, our method is the first method to show the ability of video property editing from the pre-trained text-to-image model. We present experiments on numerous examples within our unified framework. We also compare with shape-aware text-based editing and handcrafted motion video generation, demonstrating our superior temporal consistency and editing capability than previous works. The code and models are available on https://github.com/mayuelala/MagicStick.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google