SmartMask: Context Aware High-Fidelity Mask Generation for Fine-grained Object Insertion and Layout Control

要約

生成画像修復とオブジェクト挿入の分野は、最近の潜在拡散モデルの出現により大幅に進歩しました。
正確なオブジェクト マスクを利用すると、これらのアプリケーションを大幅に強化できます。
ただし、高忠実度のマスクを作成する際にユーザーが直面する課題のため、これらの方法では、これらのアプリケーションではより粗いマスク (バウンディング ボックスなど) に依存する傾向があります。
その結果、制御が制限され、バックグラウンド コンテンツの保存が損なわれることになります。
これらの制限を克服するために、初心者ユーザーでもオブジェクトを正確に挿入するための詳細なマスクを作成できるようにする SmartMask を導入します。
ControlNet-Inpaint モデルと組み合わせた実験では、SmartMask が優れたオブジェクト挿入品質を達成し、以前の方法よりも効果的に背景コンテンツを保存できることが実証されました。
特に、従来の研究とは異なり、提案されたアプローチはユーザーマスクガイダンスなしでも使用でき、さまざまな位置およびスケールでマスクなしのオブジェクト挿入を実行できます。
さらに、新しい命令チューニング ベースの計画モデルを繰り返し使用すると、SmartMask を使用して詳細なレイアウトを最初から設計できることがわかりました。
ユーザーの落書きベースのレイアウト設計と比較して、SmartMask では、レイアウトから画像への生成方法を使用して、より高品質の出力が可能であることがわかります。
プロジェクトページは https://smartmask-gen.github.io から入手できます。

要約(オリジナル)

The field of generative image inpainting and object insertion has made significant progress with the recent advent of latent diffusion models. Utilizing a precise object mask can greatly enhance these applications. However, due to the challenges users encounter in creating high-fidelity masks, there is a tendency for these methods to rely on more coarse masks (e.g., bounding box) for these applications. This results in limited control and compromised background content preservation. To overcome these limitations, we introduce SmartMask, which allows any novice user to create detailed masks for precise object insertion. Combined with a ControlNet-Inpaint model, our experiments demonstrate that SmartMask achieves superior object insertion quality, preserving the background content more effectively than previous methods. Notably, unlike prior works the proposed approach can also be used even without user-mask guidance, which allows it to perform mask-free object insertion at diverse positions and scales. Furthermore, we find that when used iteratively with a novel instruction-tuning based planning model, SmartMask can be used to design detailed layouts from scratch. As compared with user-scribble based layout design, we observe that SmartMask allows for better quality outputs with layout-to-image generation methods. Project page is available at https://smartmask-gen.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google