BrushNet: A Plug-and-Play Image Inpainting Model with Decomposed Dual-Branch Diffusion

要約

破損した画像を復元するプロセスである画像修復は、拡散モデル (DM) の出現により大幅に進歩しました。
これらの進歩にもかかわらず、サンプリング戦略の変更や修復固有の DM の開発を伴う修復のための現在の DM 適応では、セマンティックの不一致や画質の低下が頻繁に発生します。
これらの課題に対処するために、私たちの研究では、マスクされた画像の特徴とノイズの多い潜在を別々のブランチに分割するという新しいパラダイムを導入しています。
この分割により、モデルの学習負荷が大幅に軽減され、重要なマスクされた画像情報を階層的に微妙に組み込むことが容易になります。
ここでは、事前トレーニングされた DM にピクセルレベルのマスクされた画像特徴を埋め込むように設計された新しいプラグアンドプレイのデュアルブランチ モデルである BrushNet を紹介し、一貫性のある強化された画像修復結果を保証します。
さらに、セグメンテーションベースの修復トレーニングとパフォーマンス評価を容易にするために、BrushData と BrushBench を導入します。
当社の広範な実験分析により、画質、マスク領域の保存、テキストの一貫性など、7 つの主要な指標にわたって既存のモデルよりも BrushNet のパフォーマンスが優れていることが実証されています。

要約(オリジナル)

Image inpainting, the process of restoring corrupted images, has seen significant advancements with the advent of diffusion models (DMs). Despite these advancements, current DM adaptations for inpainting, which involve modifications to the sampling strategy or the development of inpainting-specific DMs, frequently suffer from semantic inconsistencies and reduced image quality. Addressing these challenges, our work introduces a novel paradigm: the division of masked image features and noisy latent into separate branches. This division dramatically diminishes the model’s learning load, facilitating a nuanced incorporation of essential masked image information in a hierarchical fashion. Herein, we present BrushNet, a novel plug-and-play dual-branch model engineered to embed pixel-level masked image features into any pre-trained DM, guaranteeing coherent and enhanced image inpainting outcomes. Additionally, we introduce BrushData and BrushBench to facilitate segmentation-based inpainting training and performance assessment. Our extensive experimental analysis demonstrates BrushNet’s superior performance over existing models across seven key metrics, including image quality, mask region preservation, and textual coherence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google