Super-Resolution through StyleGAN Regularized Latent Search: A Realism-Fidelity Trade-off

要約

この論文では、超解像度の問題、つまり低解像度 (LR) の画像から高解像度 (HR) の画像を構築する問題について取り上げます。
最近の教師なしアプローチでは、HR 画像で事前トレーニングされた StyleGAN の潜在空間を検索して、入力 LR 画像に最適にダウンスケールする画像を探します。
ただし、ドメイン外の画像が生成される傾向があり、元のドメインから遠く離れた HR 画像を正確に再構成できないことがあります。
私たちの貢献は 2 つあります。
まず、潜在空間での検索を制限する新しい正則化子を導入し、反転コードが元の画像多様体に存在することを保証します。
次に、最適な潜在コードの周囲の事前画像を拡張することで、再構成をさらに強化しました。
私たちの結果は、提案されたアプローチが大きな倍率で現実的な高品質の画像を回復することを示しています。
さらに、倍率が低い場合でも、ジェネレーターが他の方法では生成できなかった詳細を再構築できます。
全体として、私たちのアプローチは、超解像度タスクの忠実性とリアリズムの間で適切なトレードオフを達成しています。

要約(オリジナル)

This paper addresses the problem of super-resolution: constructing a highly resolved (HR) image from a low resolved (LR) one. Recent unsupervised approaches search the latent space of a StyleGAN pre-trained on HR images, for the image that best downscales to the input LR image. However, they tend to produce out-of-domain images and fail to accurately reconstruct HR images that are far from the original domain. Our contribution is twofold. Firstly, we introduce a new regularizer to constrain the search in the latent space, ensuring that the inverted code lies in the original image manifold. Secondly, we further enhanced the reconstruction through expanding the image prior around the optimal latent code. Our results show that the proposed approach recovers realistic high-quality images for large magnification factors. Furthermore, for low magnification factors, it can still reconstruct details that the generator could not have produced otherwise. Altogether, our approach achieves a good trade-off between fidelity and realism for the super-resolution task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google