Self-Supervised Face Image Restoration with a One-Shot Reference

要約

画像復元については、生成モデルからの事前分布を利用する方法が提案されており、写真のようにリアルで高品質な結果を確実に復元する有望な能力が実証されています。
ただし、これらの方法は、特に顔画像など明らかに正しい意味論を持つ画像の場合、意味論的な曖昧さの影響を受けやすくなります。
この論文では、画像復元のためのセマンティックを意識した潜在空間探索法 (SAIR) を提案します。
特定の参照画像からセマンティクス情報を明示的にモデル化することで、SAIR は、著しく劣化した画像を高解像度で非常にリアルな外観に復元するだけでなく、セマンティクスも修正して確実に復元できます。
定量的および定性的な実験は、総合的に、提案された SAIR の優れたパフォーマンスを実証します。
私たちのコードは https://github.com/Liamkuo/SAIR で入手できます。

要約(オリジナル)

For image restoration, methods leveraging priors from generative models have been proposed and demonstrated a promising capacity to robustly restore photorealistic and high-quality results. However, these methods are susceptible to semantic ambiguity, particularly with images that have obviously correct semantics such as facial images. In this paper, we propose a semantic-aware latent space exploration method for image restoration (SAIR). By explicitly modeling semantics information from a given reference image, SAIR is able to reliably restore severely degraded images not only to high-resolution and highly realistic looks but also to correct semantics. Quantitative and qualitative experiments collectively demonstrate the superior performance of the proposed SAIR. Our code is available at https://github.com/Liamkuo/SAIR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google