Spatially-Adaptive Multilayer Selection for GAN Inversion and Editing

要約

既存のGAN反転および編集方法は、ポートレートや動物の顔など、背景がきれいな位置合わせされたオブジェクトには適していますが、複雑なシーンレイアウトや、車、動物、屋外の画像などのオブジェクトのオクルージョンを含む、より難しいカテゴリでは苦労することがよくあります。
StyleGAN2などのGANの潜在空間でこのような複雑な画像を反転および編集する新しい方法を提案します。
私たちの重要なアイデアは、レイヤーのコレクションを使用して反転を調査し、反転プロセスを画像の難易度に空間的に適応させることです。
さまざまな画像セグメントの「可逆性」を予測し、各セグメントを潜在層に投影する方法を学びます。
より簡単な領域は、ジェネレータの潜在空間の前のレイヤーに反転できますが、より困難な領域は、後のフィーチャ空間に反転できます。
実験は、私たちの方法が、下流の編集可能性を維持しながら、複雑なカテゴリに対する最近のアプローチと比較して、より良い反転結果を取得することを示しています。
https://www.cs.cmu.edu/~SAMInversionのプロジェクトページを参照してください。

要約(オリジナル)

Existing GAN inversion and editing methods work well for aligned objects with a clean background, such as portraits and animal faces, but often struggle for more difficult categories with complex scene layouts and object occlusions, such as cars, animals, and outdoor images. We propose a new method to invert and edit such complex images in the latent space of GANs, such as StyleGAN2. Our key idea is to explore inversion with a collection of layers, spatially adapting the inversion process to the difficulty of the image. We learn to predict the ‘invertibility’ of different image segments and project each segment into a latent layer. Easier regions can be inverted into an earlier layer in the generator’s latent space, while more challenging regions can be inverted into a later feature space. Experiments show that our method obtains better inversion results compared to the recent approaches on complex categories, while maintaining downstream editability. Please refer to our project page at https://www.cs.cmu.edu/~SAMInversion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google