High-Fidelity Image Inpainting with GAN Inversion

要約

画像の修復では、マスクされていないコンテンツに照らして、破損した画像を復元するための意味的に一貫した方法を探します。
以前のアプローチでは通常、十分にトレーニングされた GAN を効果的なものとして再利用してから、GAN 反転で欠落している穴の現実的なパッチを生成していました。
それにもかかわらず、これらのアルゴリズムの厳しい制約を無視すると、GAN 反転と画像修復の間にギャップが生じる可能性があります。
この問題に対処するために、この論文では、InvertFill と呼ばれる画像修復用の新しい GAN 反転モデルを考案します。これは主に、事前変調モジュールを備えたエンコーダーと F&W+ 潜在空間を備えた GAN ジェネレーターで構成されています。
エンコーダー内では、事前変調ネットワークがマルチスケール構造を活用して、より識別可能なセマンティクスをスタイル ベクトルにエンコードします。
GAN 反転と画像修復の間のギャップを埋めるために、F&W+ 潜在空間が提案され、目立った色の不一致と意味の不一致を排除します。
忠実でフォトリアリスティックな画像を再構築するために、シンプルでありながら効果的な Soft-update Mean Latent モジュールは、大規模な破損に対して忠実度の高いテクスチャを合成する、より多様なドメイン内パターンをキャプチャするように設計されています。
Places2、CelebA-HQ、MetFaces、および Scenery を含む 4 つの困難なデータセットに関する包括的な実験は、InvertFill が高度なアプローチよりも質的および量的に優れており、ドメイン外の画像の完成を適切にサポートすることを示しています。

要約(オリジナル)

Image inpainting seeks a semantically consistent way to recover the corrupted image in the light of its unmasked content. Previous approaches usually reuse the well-trained GAN as effective prior to generate realistic patches for missing holes with GAN inversion. Nevertheless, the ignorance of a hard constraint in these algorithms may yield the gap between GAN inversion and image inpainting. Addressing this problem, in this paper, we devise a novel GAN inversion model for image inpainting, dubbed InvertFill, mainly consisting of an encoder with a pre-modulation module and a GAN generator with F&W+ latent space. Within the encoder, the pre-modulation network leverages multi-scale structures to encode more discriminative semantics into style vectors. In order to bridge the gap between GAN inversion and image inpainting, F&W+ latent space is proposed to eliminate glaring color discrepancy and semantic inconsistency. To reconstruct faithful and photorealistic images, a simple yet effective Soft-update Mean Latent module is designed to capture more diverse in-domain patterns that synthesize high-fidelity textures for large corruptions. Comprehensive experiments on four challenging datasets, including Places2, CelebA-HQ, MetFaces, and Scenery, demonstrate that our InvertFill outperforms the advanced approaches qualitatively and quantitatively and supports the completion of out-of-domain images well.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google