Robust Unsupervised StyleGAN Image Restoration

要約

GAN ベースの画像復元では、生成プロセスを反転して、既知の劣化によって破損した画像を修復します。
既存の教師なしメソッドは、各タスクと劣化レベルに合わせて慎重に調整する必要があります。
この作業では、StyleGAN 画像復元を堅牢にします。単一セットのハイパーパラメータが幅広い劣化レベルで機能します。
これにより、再調整することなく、複数の劣化の組み合わせに対処できるようになります。
私たちが提案するアプローチは、3 段階の漸進的潜在空間拡張と保守的なオプティマイザーに依存しており、追加の正則化項の必要性を回避します。
広範な実験により、さまざまな劣化レベルでの修復、アップサンプリング、ノイズ除去、およびアーティファクト除去における堅牢性が実証され、他の StyleGAN ベースの反転手法を上回ります。
また、私たちのアプローチは、より現実的な反転結果をもたらすため、拡散ベースの修復と比べて有利です。
コードは https://lvsn.github.io/RobustUnsupervised/ で入手できます。

要約(オリジナル)

GAN-based image restoration inverts the generative process to repair images corrupted by known degradations. Existing unsupervised methods must be carefully tuned for each task and degradation level. In this work, we make StyleGAN image restoration robust: a single set of hyperparameters works across a wide range of degradation levels. This makes it possible to handle combinations of several degradations, without the need to retune. Our proposed approach relies on a 3-phase progressive latent space extension and a conservative optimizer, which avoids the need for any additional regularization terms. Extensive experiments demonstrate robustness on inpainting, upsampling, denoising, and deartifacting at varying degradations levels, outperforming other StyleGAN-based inversion techniques. Our approach also favorably compares to diffusion-based restoration by yielding much more realistic inversion results. Code is available at https://lvsn.github.io/RobustUnsupervised/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google