Make It So: Steering StyleGAN for Any Image Inversion and Editing

要約

タイトル：Make It　So: 任意の画像反転と編集のためのStyleGANの操作

要約：

– StyleGANの分離されたスタイル表現は、潜在変数を操作することで強力な画像編集を可能にするが、現実世界の画像を潜在変数に正確にマッピングする（GAN反転）のは課題である。
– 既存のGAN反転方法は、編集方向を維持し、現実的な結果を生成するのが困難である。
– これらの限界を克服するために、本論文では、通常の潜在スタイル空間$\mathcal{W}$の代わりにノイズ空間$\mathcal{Z}$で動作する新しいGAN反転方法「Make It So」を提案する。
– Make It Soは、ドメイン外の画像でも編集機能を保持するという重要な特性を保持している。
– 量的評価により、Make It Soが従来の方法PTI~\cite{roich2021pivotal}よりも五倍の反転精度を持ち、複雑な屋内シーンの編集品質は十倍になることが示されている。

要約(オリジナル)

StyleGAN’s disentangled style representation enables powerful image editing by manipulating the latent variables, but accurately mapping real-world images to their latent variables (GAN inversion) remains a challenge. Existing GAN inversion methods struggle to maintain editing directions and produce realistic results. To address these limitations, we propose Make It So, a novel GAN inversion method that operates in the $\mathcal{Z}$ (noise) space rather than the typical $\mathcal{W}$ (latent style) space. Make It So preserves editing capabilities, even for out-of-domain images. This is a crucial property that was overlooked in prior methods. Our quantitative evaluations demonstrate that Make It So outperforms the state-of-the-art method PTI~\cite{roich2021pivotal} by a factor of five in inversion accuracy and achieves ten times better edit quality for complex indoor scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI