RealCraft: Attention Control as A Tool for Zero-Shot Consistent Video Editing

要約

大規模なテキストから画像への生成モデルは、高品質の画像の合成において有望なパフォーマンスを示していますが、これらのモデルを画像編集に直接適用することは依然として大きな課題です。
ビデオ編集では時間の次元が増えるため、この課題はさらに増幅されます。
これは、既存のコンテンツを中断することなくローカライズされた編集を実行しながら、フレーム全体で安定した構造レイアウトを維持する必要があるため、現実世界のビデオの編集に特に当てはまります。
この論文では、ゼロショット現実世界のビデオ編集のための注意制御ベースの手法である RealCraft を提案します。
新しい特徴の挿入のために相互注意を交換し、編集オブジェクトの時空間的注意を緩和することにより、時間的一貫性を強化しながら、局所的な形状に関する編集を実現します。
私たちのモデルは安定拡散を直接使用しており、追加情報を必要とせずに動作します。
提案されているゼロショット アテンション コントロール ベースの手法をさまざまなビデオにわたって紹介し、最大 64 フレームのビデオで形状に合わせた時間一貫性のあるパラメータフリーの編集を実証します。

要約(オリジナル)

Even though large-scale text-to-image generative models show promising performance in synthesizing high-quality images, applying these models directly to image editing remains a significant challenge. This challenge is further amplified in video editing due to the additional dimension of time. This is especially the case for editing real-world videos as it necessitates maintaining a stable structural layout across frames while executing localized edits without disrupting the existing content. In this paper, we propose RealCraft, an attention-control-based method for zero-shot real-world video editing. By swapping cross-attention for new feature injection and relaxing spatial-temporal attention of the editing object, we achieve localized shape-wise edit along with enhanced temporal consistency. Our model directly uses Stable Diffusion and operates without the need for additional information. We showcase the proposed zero-shot attention-control-based method across a range of videos, demonstrating shape-wise, time-consistent and parameter-free editing in videos of up to 64 frames.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google