GH-Feat: Learning Versatile Generative Hierarchical Features from GANs

要約

近年、敵対的生成ネットワーク (GAN) が写真のようにリアルな画像を合成する際に大きな成功を収めています。
GAN ジェネレーターは、現実的な画像を構成し、実際のデータ分布を再現することを学習します。
それにより、マルチレベルのセマンティクスを備えた階層的な視覚的特徴が自然に出現します。
この作業では、画像合成から学習したこのような生成機能が、生成タスクとより重要な識別タスクの両方を含む、幅広いコンピューター ビジョン タスクの解決に大きな可能性を示すことを調査します。
まず、事前トレーニング済みの StyleGAN ジェネレーターを学習した損失関数と見なして、エンコーダーをトレーニングします。
Generative Hierarchical Features (GH-Feat) と呼ばれるエンコーダーによって生成される視覚的特徴は、レイヤーごとの GAN 表現と高度に一致するため、再構成の観点から入力画像を適切に記述します。
広範な実験により、画像編集、画像処理、画像調和、顔検証、ランドマーク検出、レイアウト予測、画像検索など、さまざまなアプリケーションにわたる GH-Feat の多目的な転送可能性がサポートされています。
拡張、開発された GH-Feat は、いくつかの注釈のみを使用して、きめの細かいセマンティック セグメンテーションを容易にすることもできます。
定性的および定量的な結果の両方が、GH-Feat の魅力的なパフォーマンスを示しています。

要約(オリジナル)

Recent years witness the tremendous success of generative adversarial networks (GANs) in synthesizing photo-realistic images. GAN generator learns to compose realistic images and reproduce the real data distribution. Through that, a hierarchical visual feature with multi-level semantics spontaneously emerges. In this work we investigate that such a generative feature learned from image synthesis exhibits great potentials in solving a wide range of computer vision tasks, including both generative ones and more importantly discriminative ones. We first train an encoder by considering the pretrained StyleGAN generator as a learned loss function. The visual features produced by our encoder, termed as Generative Hierarchical Features (GH-Feat), highly align with the layer-wise GAN representations, and hence describe the input image adequately from the reconstruction perspective. Extensive experiments support the versatile transferability of GH-Feat across a range of applications, such as image editing, image processing, image harmonization, face verification, landmark detection, layout prediction, image retrieval, etc. We further show that, through a proper spatial expansion, our developed GH-Feat can also facilitate fine-grained semantic segmentation using only a few annotations. Both qualitative and quantitative results demonstrate the appealing performance of GH-Feat.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google