RGI: robust GAN-inversion for mask-free image inpainting and unsupervised pixel-wise anomaly detection

要約

大規模な画像データセットでトレーニングされた敵対的生成ネットワーク (GAN) は、自然画像多様体の適切な近似値になる可能性があります。
事前トレーニング済みのジェネレーターを深い生成事前確率として使用する GAN 反転は、破損下での画像復元のための有望なツールです。
ただし、GAN 反転のパフォーマンスは、未知の全体的な破損に対する堅牢性の欠如によって制限される可能性があります。つまり、復元された画像はグラウンド トゥルースから容易に逸脱する可能性があります。
この論文では、ピクセルのごく一部が完全に破損している未知の \textit{gross} 破損の下で画像の復元を達成するために、証明可能な堅牢性保証を備えたロバスト GAN-inversion (RGI) メソッドを提案します。
穏やかな仮定の下で、復元された画像と識別された破損領域マスクが漸近的にグラウンド トゥルースに収束することを示します。
さらに、RGI を Relaxed-RGI (R-RGI) に拡張してジェネレーターの微調整を行い、GAN で学習した多様体と実際の画像多様体との間のギャップを軽減しながら、破損した入力画像への些細な過剰適合を回避します。これにより、画像の復元がさらに改善され、
破損した領域マスクの識別パフォーマンス。
提案された RGI/R-RGI メソッドは、2 つの重要なアプリケーションを最先端 (SOTA) のパフォーマンスで統合します。
不足しているコンテンツ;
(ii) 破損が未知の異常領域である教師なしピクセル単位の異常検出。取得したマスクを異常領域のセグメンテーション マスクとして使用できます。

要約(オリジナル)

Generative adversarial networks (GANs), trained on a large-scale image dataset, can be a good approximator of the natural image manifold. GAN-inversion, using a pre-trained generator as a deep generative prior, is a promising tool for image restoration under corruptions. However, the performance of GAN-inversion can be limited by a lack of robustness to unknown gross corruptions, i.e., the restored image might easily deviate from the ground truth. In this paper, we propose a Robust GAN-inversion (RGI) method with a provable robustness guarantee to achieve image restoration under unknown \textit{gross} corruptions, where a small fraction of pixels are completely corrupted. Under mild assumptions, we show that the restored image and the identified corrupted region mask converge asymptotically to the ground truth. Moreover, we extend RGI to Relaxed-RGI (R-RGI) for generator fine-tuning to mitigate the gap between the GAN learned manifold and the true image manifold while avoiding trivial overfitting to the corrupted input image, which further improves the image restoration and corrupted region mask identification performance. The proposed RGI/R-RGI method unifies two important applications with state-of-the-art (SOTA) performance: (i) mask-free semantic inpainting, where the corruptions are unknown missing regions, the restored background can be used to restore the missing content; (ii) unsupervised pixel-wise anomaly detection, where the corruptions are unknown anomalous regions, the retrieved mask can be used as the anomalous region’s segmentation mask.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google