Multi-image Super-resolution via Quality Map Associated Temporal Attention Network

要約

衛星画像の活用には、同じ場所の複数の画像を融合して高解像度の画像を復元するマルチ画像超解像が重要です。
衛星画像は雲などの大気擾乱によって遮られることが多く、擾乱の位置は画像によって異なります。
大気擾乱を検出するために、多くの放射測定および幾何学的アプローチが提案されています。
それでも、検出結果、つまり深層学習における品質マップの利用は、前処理または損失の計算に限定されていました。
このホワイト ペーパーでは、品質マップ関連アテンション ネットワーク (QA-Net) を紹介します。これは、初めて QM をディープ ラーニング スキームに完全に組み込んだアーキテクチャです。
私たちが提案する注意モジュールは、低解像度画像と一緒にQMを処理し、QM機能を利用して外乱を区別し、画像機能に注意を払います。
その結果、QA-Net は PROBA-V データセットで最先端の結果を達成しました。

要約(オリジナル)

Multi-image super-resolution, which aims to fuse and restore a high-resolution image from multiple images at the same location, is crucial for utilizing satellite images. The satellite images are often occluded by atmospheric disturbances such as clouds, and the position of the disturbances varies by the images. Many radiometric and geometric approaches are proposed to detect atmospheric disturbances. Still, the utilization of detection results, i.e., quality maps in deep learning was limited to pre-processing or computation of loss. In this paper, we present a quality map-associated attention network (QA-Net), an architecture that fully incorporates QMs into a deep learning scheme for the first time. Our proposed attention modules process QMs alongside the low-resolution images and utilize the QM features to distinguish the disturbances and attend to image features. As a result, QA-Net has achieved state-of-the-art results in the PROBA-V dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google