Zero shot framework for satellite image restoration

要約

衛星画像は通常、複数の歪みを受けます。大気、表面反射率、太陽照明、ビューイングジオメトリなどの変化を含む様々な要因が衛星画像の品質に影響を与え、下流のタスクへの適用を制限している。教師ありネットワークでは、ペアとなるデータセットが利用可能であることが強い前提となっている。その結果、この問題に対処するために、多くの教師なしアルゴリズムが提案されてきた。これらの方法は、画像形成モデルを用いて、劣化した画像の大規模なデータセットを合成的に生成する。そして、ニューラルネットワークを敵対的損失で学習させ、歪んだ領域からの画像ときれいな領域からの画像を識別する。しかし、これらの方法は、必ずしも生成メカニズムに適合しない実画像でテストした場合、最適とは言えない性能をもたらす。また、大量の学習データを必要とするため、数枚の画像しか利用できない場合には不向きである。我々は、これらの重要な問題に対処するために、衛星画像復元のための歪み解消と知識蒸留のフレームワークを提案する。本アルゴリズムは、復元すべき歪んだ衛星画像と、類似した意味を持つ参照画像の2つの画像のみを必要とする。具体的には、まず、歪みを分離するメカニズムを提案する。これにより、分離された歪みと参照画像を用いて、様々な程度の歪みを持つ画像を生成することができる。次に、生成された画像ペアを用いて復元ネットワークを学習するために、知識蒸留の利用を提案する。最終段階として、歪んだ画像を復元ネットワークに通して、最終的な出力を得る。アブレーション実験では、提案したメカニズムが歪みをうまく分離することが示された。

要約(オリジナル)

Satellite images are typically subject to multiple distortions. Different factors affect the quality of satellite images, including changes in atmosphere, surface reflectance, sun illumination, viewing geometries etc., limiting its application to downstream tasks. In supervised networks, the availability of paired datasets is a strong assumption. Consequently, many unsupervised algorithms have been proposed to address this problem. These methods synthetically generate a large dataset of degraded images using image formation models. A neural network is then trained with an adversarial loss to discriminate between images from distorted and clean domains. However, these methods yield suboptimal performance when tested on real images that do not necessarily conform to the generation mechanism. Also, they require a large amount of training data and are rendered unsuitable when only a few images are available. We propose a distortion disentanglement and knowledge distillation framework for satellite image restoration to address these important issues. Our algorithm requires only two images: the distorted satellite image to be restored and a reference image with similar semantics. Specifically, we first propose a mechanism to disentangle distortion. This enables us to generate images with varying degrees of distortion using the disentangled distortion and the reference image. We then propose the use of knowledge distillation to train a restoration network using the generated image pairs. As a final step, the distorted image is passed through the restoration network to get the final output. Ablation studies show that our proposed mechanism successfully disentangles distortion.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL