StyleRes: Transforming the Residuals for Real Image Editing with StyleGAN

要約

高品質の属性編集で忠実度の高い画像反転を実現するための新しい画像反転フレームワークとトレーニング パイプラインを提示します。
実際の画像を StyleGAN の潜在空間に変換することは、広く研究されている問題ですが、画像再構成の忠実度と画像編集品質の間のトレードオフは未解決の課題のままです。
低レートの潜在空間は、忠実度の高い再構築のための表現力が限られています。
一方、高レートの潜在空間は、編集品質の低下につながります。
この作業では、忠実度の高い反転を実現するために、下位の潜在コードではエンコードできなかった上位の潜在コードの残差機能を学習します。
これにより、再構成時に画像の詳細を保持できます。
高品質の編集を実現するために、潜在コードの操作に適応するために残りの特徴を変換する方法を学びます。
フレームワークをトレーニングして、残余の特徴を抽出し、新しいアーキテクチャ パイプラインとサイクルの一貫性の損失を介してそれらを変換します。
私たちは広範な実験を行い、私たちの方法を最先端の反転方法と比較します。
定性的な指標と視覚的な比較により、大幅な改善が見られます。
コード: https://github.com/hamzapehlivan/StyleRes

要約(オリジナル)

We present a novel image inversion framework and a training pipeline to achieve high-fidelity image inversion with high-quality attribute editing. Inverting real images into StyleGAN’s latent space is an extensively studied problem, yet the trade-off between the image reconstruction fidelity and image editing quality remains an open challenge. The low-rate latent spaces are limited in their expressiveness power for high-fidelity reconstruction. On the other hand, high-rate latent spaces result in degradation in editing quality. In this work, to achieve high-fidelity inversion, we learn residual features in higher latent codes that lower latent codes were not able to encode. This enables preserving image details in reconstruction. To achieve high-quality editing, we learn how to transform the residual features for adapting to manipulations in latent codes. We train the framework to extract residual features and transform them via a novel architecture pipeline and cycle consistency losses. We run extensive experiments and compare our method with state-of-the-art inversion methods. Qualitative metrics and visual comparisons show significant improvements. Code: https://github.com/hamzapehlivan/StyleRes

arxiv情報

提供元, 利用サービス

arxiv.jp, Google