Diverse Inpainting and Editing with GAN Inversion

要約

最近の反転手法では、実際の画像を StyleGAN の潜在空間に反転でき、よく訓練された GAN モデルの意味的に豊富な特徴表現のおかげで、それらの画像に対して多数の編集を実行できることが示されています。
ただし、広範な研究により、高忠実度の再構築と編集可能性の間のトレードオフにより、画像の反転が困難であることも示されています。
この論文では、リアルな修復と編集のために、消去された画像を GAN の潜在空間に反転するという、さらに難しいタスクに取り組みます。
さらに、反転した潜在コードを異なる潜在サンプルで拡張することで、多様な修復を実現します。
具体的には、消去された画像からのエンコードされた特徴とランダムサンプルからの StyleGAN のマッピングされた特徴を組み合わせるエンコーダーとミキシング ネットワークを学習することを提案します。
混合ネットワークが両方の入力を利用できるようにするために、新しいセットアップを通じて生成されたデータを使用してネットワークをトレーニングします。
また、塗った部分と消していない部分の間の色の不一致を防ぐために、より高いレートの機能も利用しています。
私たちは広範な実験を実行し、私たちの方法を最先端の反転および修復方法と比較します。
定性的な指標と視覚的な比較では、大幅な改善が見られます。

要約(オリジナル)

Recent inversion methods have shown that real images can be inverted into StyleGAN’s latent space and numerous edits can be achieved on those images thanks to the semantically rich feature representations of well-trained GAN models. However, extensive research has also shown that image inversion is challenging due to the trade-off between high-fidelity reconstruction and editability. In this paper, we tackle an even more difficult task, inverting erased images into GAN’s latent space for realistic inpaintings and editings. Furthermore, by augmenting inverted latent codes with different latent samples, we achieve diverse inpaintings. Specifically, we propose to learn an encoder and mixing network to combine encoded features from erased images with StyleGAN’s mapped features from random samples. To encourage the mixing network to utilize both inputs, we train the networks with generated data via a novel set-up. We also utilize higher-rate features to prevent color inconsistencies between the inpainted and unerased parts. We run extensive experiments and compare our method with state-of-the-art inversion and inpainting methods. Qualitative metrics and visual comparisons show significant improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google