L1BSR: Exploiting Detector Overlap for Self-Supervised Single-Image Super-Resolution of Sentinel-2 L1B Imagery

要約

タイトル：L1BSR：センチネル-2 L1B画像の自己教師単一画像超解像度において検出器のオーバーラップを利用すること

要約：

– 高解像度衛星画像は、多くの地球観測アプリケーションにとって重要な要素である。
– センチネル-2のような衛星は、エイリアシングやバンドミスアライメントなどの超解像度アルゴリズムに適した特性を備えています。
– 残念ながら、信頼できる高解像度の何らかの教師データがなく、深層学習方法をこのタスクに適用することを制限しています。
– 本研究では、Sentinel-2 L1B 10mバンドの単一画像超解像度とバンドアライメントのためのL1BSRという深層学習ベースの手法を提案しています。
– この方法は、隣接するCMOS検出器によって生成されたL1B画像の重なり領域を利用して、実際のL1Bデータに直接自己教師を行うことで訓練されます。そのため、高解像度の教師データは必要ありません。
– 自己教師の損失関数は、超解像度された出力画像がすべてのバンドが正しくアライメントされていることを強制するように設計されています。
– これは、異なるスペクトルバンドの画像間のオプティカルフローを計算する新しいクロススペクトル登録ネットワーク（CSR）によって達成されます。
– CSRネットワークも、この研究で新たに導入したAnchor-Consistency損失を使用して、自己教師で訓練されます。
– 我々は、提案手法の性能を合成と実際のL1Bデータ上でデモンストレーションし、監督学習法と比較して同等の結果を得ることを示します。

要約(オリジナル)

High-resolution satellite imagery is a key element for many Earth monitoring applications. Satellites such as Sentinel-2 feature characteristics that are favorable for super-resolution algorithms such as aliasing and band-misalignment. Unfortunately the lack of reliable high-resolution (HR) ground truth limits the application of deep learning methods to this task. In this work we propose L1BSR, a deep learning-based method for single-image super-resolution and band alignment of Sentinel-2 L1B 10m bands. The method is trained with self-supervision directly on real L1B data by leveraging overlapping areas in L1B images produced by adjacent CMOS detectors, thus not requiring HR ground truth. Our self-supervised loss is designed to enforce the super-resolved output image to have all the bands correctly aligned. This is achieved via a novel cross-spectral registration network (CSR) which computes an optical flow between images of different spectral bands. The CSR network is also trained with self-supervision using an Anchor-Consistency loss, which we also introduce in this work. We demonstrate the performance of the proposed approach on synthetic and real L1B data, where we show that it obtains comparable results to supervised methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI