Attentive Eraser: Unleashing Diffusion Model’s Object Removal Potential via Self-Attention Redirection Guidance

要約

最近、拡散モデルは、生成モデルの分野で有望な新人として浮上し、画像生成で明るく輝いています。
ただし、オブジェクト削除タスクに使用されている場合、ランダムアーティファクトを生成したり、削除後に適切なコンテンツで前景オブジェクトエリアを塗り直すことができないなどの問題に遭遇します。
これらの問題に取り組むために、安定した効果的なオブジェクト除去のために事前に訓練された拡散モデルを強化するためのチューニングフリーの方法である注意深い消しゴムを提案します。
第一に、自己関節マップが生成された画像の構造と形状の詳細に影響を与えるという観察に照らして、注意活性化と抑制（ASS）を提案します。これは、特定のマスクに基づいた事前に訓練された拡散モデル内の自己立文、それにより、リバース生成プロセス中のフォアグラウンドオブジェクトの背景を優先することを優先します。
さらに、私たちは自己attentionリダイレクトガイダンス（SARG）を導入します。これは、ASSによってリダイレクトされた自己関節を利用して生成プロセスを導き、マスク内の前景オブジェクトを効果的に削除しながら、もっともらしいと一貫性のあるコンテンツを同時に生成します。
実験は、さまざまな訓練を受けた拡散モデルにわたるオブジェクト除去における丁寧な消しゴムの安定性と有効性を示しており、トレーニングベースの方法を上回ることさえあります。
さらに、気配りの消しゴムは、さまざまな拡散モデルアーキテクチャとチェックポイントに実装でき、優れたスケーラビリティを可能にします。
コードはhttps://github.com/anonym0u3/attentiveeraserで入手できます。

要約(オリジナル)

Recently, diffusion models have emerged as promising newcomers in the field of generative models, shining brightly in image generation. However, when employed for object removal tasks, they still encounter issues such as generating random artifacts and the incapacity to repaint foreground object areas with appropriate content after removal. To tackle these problems, we propose Attentive Eraser, a tuning-free method to empower pre-trained diffusion models for stable and effective object removal. Firstly, in light of the observation that the self-attention maps influence the structure and shape details of the generated images, we propose Attention Activation and Suppression (ASS), which re-engineers the self-attention mechanism within the pre-trained diffusion models based on the given mask, thereby prioritizing the background over the foreground object during the reverse generation process. Moreover, we introduce Self-Attention Redirection Guidance (SARG), which utilizes the self-attention redirected by ASS to guide the generation process, effectively removing foreground objects within the mask while simultaneously generating content that is both plausible and coherent. Experiments demonstrate the stability and effectiveness of Attentive Eraser in object removal across a variety of pre-trained diffusion models, outperforming even training-based methods. Furthermore, Attentive Eraser can be implemented in various diffusion model architectures and checkpoints, enabling excellent scalability. Code is available at https://github.com/Anonym0u3/AttentiveEraser.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google