PandA: Unsupervised Learning of Parts and Appearances in the Feature Maps of GANs

要約

近年、Generative Adversarial Networks（GAN）の理解が進み、事前に学習したGANの潜在的な空間に埋め込まれた豊富なセマンティクスを活用した視覚編集・合成タスクが目覚しく発展している。しかし、既存の手法は、特定のGANアーキテクチャに合わせたものであり、局所的な制御を促進しないグローバルな意味方向の発見や、手動で提供される領域や分割マスクによる何らかの監視が必要なものに限られている。この観点から、我々は、完全に教師無しで空間的な部分とその外観を表す因子を共同で発見する、アーキテクチャにとらわれないアプローチを提示する。これらの因子は、特徴マップに対して半負のテンソル分解を適用することで得られ、これにより、ピクセルレベルの制御によるコンテキストアウェアな局所画像編集が可能となる。さらに、発見された出現因子は、ラベルを用いることなく、注目する概念を局所化する顕著性マップに対応することを示す。様々なGANアーキテクチャとデータセットに対する実験から、本手法は最先端の技術と比較して、学習時間の点ではるかに効率的であり、最も重要なことは、より正確な局所的制御を提供することである。我々のコードは、https://github.com/james-oldfield/PandA で公開されています。

要約(オリジナル)

Recent advances in the understanding of Generative Adversarial Networks (GANs) have led to remarkable progress in visual editing and synthesis tasks, capitalizing on the rich semantics that are embedded in the latent spaces of pre-trained GANs. However, existing methods are often tailored to specific GAN architectures and are limited to either discovering global semantic directions that do not facilitate localized control, or require some form of supervision through manually provided regions or segmentation masks. In this light, we present an architecture-agnostic approach that jointly discovers factors representing spatial parts and their appearances in an entirely unsupervised fashion. These factors are obtained by applying a semi-nonnegative tensor factorization on the feature maps, which in turn enables context-aware local image editing with pixel-level control. In addition, we show that the discovered appearance factors correspond to saliency maps that localize concepts of interest, without using any labels. Experiments on a wide range of GAN architectures and datasets show that, in comparison to the state of the art, our method is far more efficient in terms of training time and, most importantly, provides much more accurate localized control. Our code is available at: https://github.com/james-oldfield/PandA.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL