InFusion: Inject and Attention Fusion for Multi Concept Zero-Shot Text-based Video Editing

要約

大規模なテキストから画像への拡散モデルは、多様で高品質な画像の生成において目覚ましい成功を収めています。
さらに、これらのモデルは、テキスト プロンプトを変更するだけで入力画像を編集するためにうまく活用されています。
しかし、これらのモデルをビデオに適用する場合、主な課題はフレーム間の時間的一貫性と一貫性を確保することです。
この論文では、事前にトレーニングされた大規模な画像拡散モデルを活用したゼロショット テキストベースのビデオ編集フレームワークである InFusion を提案します。
私たちのフレームワークは、編集プロンプトで言及されているさまざまな概念をピクセルレベルで制御することで、複数の概念の編集を特にサポートしています。
具体的には、デコーダ層の U-Net 残差ブロックからソースと編集プロンプトで取得した特徴の違いを注入します。
これらを注入されたアテンション機能と組み合わせると、ソース コンテンツをクエリし、未編集部分の注入とともに編集された概念をスケールすることが可能になります。
編集はさらに、マスク抽出とアテンション フュージョンを使用してきめ細かい方法で制御されます。これにより、編集された部分がソースから切り取られ、編集プロンプトのノイズ除去パイプラインに貼り付けられます。
私たちのフレームワークはトレーニングを必要としないため、編集用にワンショットで調整されたモデルに代わる低コストの代替手段です。
LoRA を使用した一般化された画像モデル (Stable Diffusion v1.5) による複雑なコンセプト編集を実証しました。
適応は、既存のすべての画像拡散技術と互換性があります。
広範な実験結果により、高品質で時間的に一貫したビデオをレンダリングする際の既存の方法の有効性が実証されています。

要約(オリジナル)

Large text-to-image diffusion models have achieved remarkable success in generating diverse, high-quality images. Additionally, these models have been successfully leveraged to edit input images by just changing the text prompt. But when these models are applied to videos, the main challenge is to ensure temporal consistency and coherence across frames. In this paper, we propose InFusion, a framework for zero-shot text-based video editing leveraging large pre-trained image diffusion models. Our framework specifically supports editing of multiple concepts with pixel-level control over diverse concepts mentioned in the editing prompt. Specifically, we inject the difference in features obtained with source and edit prompts from U-Net residual blocks of decoder layers. When these are combined with injected attention features, it becomes feasible to query the source contents and scale edited concepts along with the injection of unedited parts. The editing is further controlled in a fine-grained manner with mask extraction and attention fusion, which cut the edited part from the source and paste it into the denoising pipeline for the editing prompt. Our framework is a low-cost alternative to one-shot tuned models for editing since it does not require training. We demonstrated complex concept editing with a generalised image model (Stable Diffusion v1.5) using LoRA. Adaptation is compatible with all the existing image diffusion techniques. Extensive experimental results demonstrate the effectiveness of existing methods in rendering high-quality and temporally consistent videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google