WINE: Wavelet-Guided GAN Inversion and Editing for High-Fidelity Refinement

要約

最近の高度な GAN 逆モデルは、ジェネレーターのチューニングや高次元の特徴学習を使用した方法を通じて、元の画像からジェネレーターに高忠実度の情報を伝えることを目的としています。
これらの努力にもかかわらず、画像固有の詳細を正確に再構成することは、トレーニングと構造的側面の両方の点で固有の制限により課題として残されており、低周波情報への偏りが生じます。
この論文では、GAN 逆変換で広く使用されているピクセル損失を調査し、その主な焦点が低周波特徴の再構成にあることを明らかにします。
次に、新しく提案されたウェーブレット損失およびウェーブレット融合スキームを介してウェーブレット係数を介して高周波情報を転送する、ウェーブレットガイド付き GAN 逆編集および Nd 編集モデルである WINE を提案します。
特に、WINE は GAN 逆変換を周波数領域で解釈する最初の試みです。
私たちの実験結果は、高周波のディテールを維持し、画質を向上させる WINE の精度を示しています。
シナリオの編集においても、WINE は編集性と再構成品質の間の絶妙なバランスにより、既存の最先端の GAN 逆モデルよりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Recent advanced GAN inversion models aim to convey high-fidelity information from original images to generators through methods using generator tuning or high-dimensional feature learning. Despite these efforts, accurately reconstructing image-specific details remains as a challenge due to the inherent limitations both in terms of training and structural aspects, leading to a bias towards low-frequency information. In this paper, we look into the widely used pixel loss in GAN inversion, revealing its predominant focus on the reconstruction of low-frequency features. We then propose WINE, a Wavelet-guided GAN Inversion aNd Editing model, which transfers the high-frequency information through wavelet coefficients via newly proposed wavelet loss and wavelet fusion scheme. Notably, WINE is the first attempt to interpret GAN inversion in the frequency domain. Our experimental results showcase the precision of WINE in preserving high-frequency details and enhancing image quality. Even in editing scenarios, WINE outperforms existing state-of-the-art GAN inversion models with a fine balance between editability and reconstruction quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google