Exploiting Digital Surface Models for Inferring Super-Resolution for Remotely Sensed Images

要約

自然画像に適用された超解像度再構成 (SRR) モデルが数多く成功しているにもかかわらず、リモート センシング画像への適用では、結果がよくない傾向があります。
リモート センシング画像は、多くの場合、自然画像よりも複雑であり、解像度が低い、ノイズが含まれている、テクスチャ付きの大きな表面を描写しているなどの特徴があります。
その結果、リモート センシング画像に特殊化されていない SRR モデルを適用すると、アーティファクトが発生し、再構成が不十分になります。
これらの問題に対処するために、この論文では、以前の研究作業に触発されたアーキテクチャを提案し、SRR モデルに現実的なリモート センシング画像を強制的に出力させるための新しいアプローチを導入します。知覚的損失として特徴空間の類似性に依存する代わりに、モデルはピクセル
画像の正規化されたデジタル サーフェス モデル (nDSM) から推測されるレベル情報。
この戦略により、モデルのトレーニング中に、リモート センシングに密接に関連するタスク (標高マップの推論) をソースとする、より適切な情報に基づいた更新を適用できます。
それにもかかわらず、nDSM補助情報は生産中に必要とされないため、モデルは低解像度ペア以外の追加データなしで超解像度画像を推測します。
DFC2018 データセットと、ルクセンブルグの国家 Lidar フライバイを含むデータセットの DSM ペアも含む、異なる空間解像度の 2 つのリモート センシング データセットでモデルを評価します。
目視検査に基づいて、推定された超解像度画像は特に優れた品質を示します。
特に、高解像度の DFC2018 データセットの結果は現実的であり、グラウンド トゥルースの画像とほとんど区別がつきません。

要約(オリジナル)

Despite the plethora of successful Super-Resolution Reconstruction (SRR) models applied to natural images, their application to remote sensing imagery tends to produce poor results. Remote sensing imagery is often more complicated than natural images and has its peculiarities such as being of lower resolution, it contains noise, and often depicting large textured surfaces. As a result, applying non-specialized SRR models on remote sensing imagery results in artifacts and poor reconstructions. To address these problems, this paper proposes an architecture inspired by previous research work, introducing a novel approach for forcing an SRR model to output realistic remote sensing images: instead of relying on feature-space similarities as a perceptual loss, the model considers pixel-level information inferred from the normalized Digital Surface Model (nDSM) of the image. This strategy allows the application of better-informed updates during the training of the model which sources from a task (elevation map inference) that is closely related to remote sensing. Nonetheless, the nDSM auxiliary information is not required during production and thus the model infers a super-resolution image without any additional data besides its low-resolution pairs. We assess our model on two remotely sensed datasets of different spatial resolutions that also contain the DSM pairs of the images: the DFC2018 dataset and the dataset containing the national Lidar fly-by of Luxembourg. Based on visual inspection, the inferred super-resolution images exhibit particularly superior quality. In particular, the results for the high-resolution DFC2018 dataset are realistic and almost indistinguishable from the ground truth images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google