Magicremover: Tuning-free Text-guided Image inpainting with Diffusion Models

要約

画像修復は、視覚的に一貫性があり、意味的に妥当なコンテンツで欠落したピクセルを埋めることを目的としています。
深い生成モデルによってもたらされた大きな進歩にも関わらず、このタスクには依然として課題があります。
大規模で現実的なデータ収集とコストのかかるモデルトレーニングの難しさ。
および ii.
境界が不明瞭または透明なテクスチャを持つオブジェクトに対する従来のユーザー定義バイナリ マスクの本質的な制限。
この論文では、テキストガイドによる画像修復のための強力な拡散モデルを活用する、チューニング不要の手法である MagicRemover を提案します。
拡散モデルのサンプリング プロセスを制限するための注意誘導戦略を導入し、指示された領域の消去と遮蔽されたコンテンツの復元を可能にします。
さらに、少ないサンプリング ステップ内でノイズ除去の安定性を促進するための分類子最適化アルゴリズムを提案します。
当社の MagicRemover と、定量的評価やユーザー調査を含む最先端の手法の間で広範な比較が行われ、高品質の画像修復における MagicRemover の大幅な改善が実証されています。
コードは https://github.com/exisas/Magicremover でリリースされます。

要約(オリジナル)

Image inpainting aims to fill in the missing pixels with visually coherent and semantically plausible content. Despite the great progress brought from deep generative models, this task still suffers from i. the difficulties in large-scale realistic data collection and costly model training; and ii. the intrinsic limitations in the traditionally user-defined binary masks on objects with unclear boundaries or transparent texture. In this paper, we propose MagicRemover, a tuning-free method that leverages the powerful diffusion models for text-guided image inpainting. We introduce an attention guidance strategy to constrain the sampling process of diffusion models, enabling the erasing of instructed areas and the restoration of occluded content. We further propose a classifier optimization algorithm to facilitate the denoising stability within less sampling steps. Extensive comparisons are conducted among our MagicRemover and state-of-the-art methods including quantitative evaluation and user study, demonstrating the significant improvement of MagicRemover on high-quality image inpainting. We will release our code at https://github.com/exisas/Magicremover.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google