Locality-preserving Directions for Interpreting the Latent Space of Satellite Image GANs

要約

我々は、衛星画像に特徴的な大きな空間的およびスペクトル的変動をうまく捉えることができる、ウェーブレットベースの敵対的生成ネットワーク (GAN) の潜在空間を解釈するための局所性を意識した方法を提案します。
局所性の保持に焦点を当てることで、提案された方法は、事前トレーニングされた GAN の重み空間を分解し、高レベルの意味論的概念 (都市化、構造密度、植物の存在など) に対応する解釈可能な方向を回復することができます。
衛星画像のガイド付き合成に使用されます。
低次元空間での重み空間の変動性を捉えることに焦点を当てた一般的に使用されるアプローチ (つまり、主成分分析 (PCA) に基づくアプローチ) とは対照的に、局所性を維持することで、よりロバストな異なる角度のベクトルが得られることを示します。
アーティファクトに影響を与えず、クラス情報をより適切に保存できます。
さらに、一連の定量的および定性的な例を通じて、提案されたアプローチが、ベースラインの幾何学的拡張と、衛星シーン分類のためのデータ拡張のコンテキストにおけるデータ合成のためのグローバルな PCA ベースのアプローチの両方を上回るパフォーマンスを発揮できることを示します。

要約(オリジナル)

We present a locality-aware method for interpreting the latent space of wavelet-based Generative Adversarial Networks (GANs), that can well capture the large spatial and spectral variability that is characteristic to satellite imagery. By focusing on preserving locality, the proposed method is able to decompose the weight-space of pre-trained GANs and recover interpretable directions that correspond to high-level semantic concepts (such as urbanization, structure density, flora presence) – that can subsequently be used for guided synthesis of satellite imagery. In contrast to typically used approaches that focus on capturing the variability of the weight-space in a reduced dimensionality space (i.e., based on Principal Component Analysis, PCA), we show that preserving locality leads to vectors with different angles, that are more robust to artifacts and can better preserve class information. Via a set of quantitative and qualitative examples, we further show that the proposed approach can outperform both baseline geometric augmentations, as well as global, PCA-based approaches for data synthesis in the context of data augmentation for satellite scene classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google