Intriguing Property and Counterfactual Explanation of GAN for Remote Sensing Image Generation

要約

敵対的生成ネットワーク (GAN) は、自然画像の分野で目覚ましい進歩を遂げました。
ただし、リモート センシング (RS) 画像生成タスクに GAN を適用すると、異常な現象が観察されます。GAN モデルは、自然画像生成よりも RS 画像生成のトレーニング データのサイズに敏感です。
言い換えれば、RS 画像の生成品質は、トレーニング カテゴリまたはカテゴリごとのサンプルの数によって大きく変化します。
この論文では、まずこの現象を 2 種類の玩具実験から分析し、訓練データが減少すると GAN モデルに含まれる特徴情報の量が減少すると結論付けました。
次に、データ生成プロセスの構造因果モデル (SCM) を確立し、生成されたデータを反事実として解釈します。
この SCM に基づいて、生成される画像の品質が特徴情報量と正の相関があることを理論的に証明します。
これにより、トレーニング中に GAN モデルによって学習された特徴情報を強化するための洞察が得られます。
その結果、我々は、分布レベルとサンプルレベルでそれぞれ GAN モデルによって学習される情報を増やすために、均一性正則化 (UR) とエントロピー正則化 (ER) という 2 つの革新的な調整スキームを提案します。
私たちは理論的および経験的に、私たちの方法の有効性と多用途性を実証します。
3 つの RS データセットと 2 つの自然データセットに対する広範な実験により、RS 画像生成タスクに関して私たちの方法が確立されたモデルよりも優れていることが示されました。
ソース コードは https://github.com/rootSue/Causal-RSGAN で入手できます。

要約(オリジナル)

Generative adversarial networks (GANs) have achieved remarkable progress in the natural image field. However, when applying GANs in the remote sensing (RS) image generation task, an extraordinary phenomenon is observed: the GAN model is more sensitive to the size of training data for RS image generation than for natural image generation. In other words, the generation quality of RS images will change significantly with the number of training categories or samples per category. In this paper, we first analyze this phenomenon from two kinds of toy experiments and conclude that the amount of feature information contained in the GAN model decreases with reduced training data. Then we establish a structural causal model (SCM) of the data generation process and interpret the generated data as the counterfactuals. Based on this SCM, we theoretically prove that the quality of generated images is positively correlated with the amount of feature information. This provides insights for enriching the feature information learned by the GAN model during training. Consequently, we propose two innovative adjustment schemes, namely Uniformity Regularization (UR) and Entropy Regularization (ER), to increase the information learned by the GAN model at the distributional and sample levels, respectively. We theoretically and empirically demonstrate the effectiveness and versatility of our methods. Extensive experiments on three RS datasets and two natural datasets show that our methods outperform the well-established models on RS image generation tasks. The source code is available at https://github.com/rootSue/Causal-RSGAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google