L1BSR: Exploiting Detector Overlap for Self-Supervised Single-Image Super-Resolution of Sentinel-2 L1B Imagery

要約

タイトル：Sentinel-2 L1Bイメージの自己教師付きシングルイメージ超解像度におけるディテクターのオーバーラップの利用

要約：

– 高解像度の衛星画像は多くの地球モニタリングアプリケーションにとって重要な要素である。
– Sentinel-2のような衛星は、エイリアシングやバンドミスアラインメントなど、超解像度アルゴリズムにとって有利な特性を備えている。
– 残念ながら、信頼できる高解像度のグラウンドトゥルースの欠如があるため、この課題に対する深層学習方法の応用は限定されている。
– 本稿では、Sentinel-2 L1B 10mバンドの単一画像超解像度とバンドアライメントのためのL1BSRという深層学習ベースの方法を提案する。
– この方法は、隣接するCMOSディテクタによって生成されたL1B画像の重複領域を利用して、グラウンドトゥルースの必要性を排除することで、実際のL1Bデータに直接自己教師学習される。
– 私たちの自己教師付き損失は、超解像された出力画像がすべてのバンドを正しく整列させるようにするために設計されている。
– これは、異なるスペクトルバンドの画像間でオプティカルフローを計算する新しいクロススペクトル登録ネットワーク（CSR）によって達成される。
– CSRネットワークは、アンカー一貫性損失を用いた自己教師学習でもトレーニングされる。
– 私たちは、提案手法の性能を合成および実際のL1Bデータでデモンストレーションし、監視された方法と比較可能な結果を得ることが示された。

要約(オリジナル)

High-resolution satellite imagery is a key element for many Earth monitoring applications. Satellites such as Sentinel-2 feature characteristics that are favorable for super-resolution algorithms such as aliasing and band-misalignment. Unfortunately the lack of reliable high-resolution (HR) ground truth limits the application of deep learning methods to this task. In this work we propose L1BSR, a deep learning-based method for single-image super-resolution and band alignment of Sentinel-2 L1B 10m bands. The method is trained with self-supervision directly on real L1B data by leveraging overlapping areas in L1B images produced by adjacent CMOS detectors, thus not requiring HR ground truth. Our self-supervised loss is designed to enforce the super-resolved output image to have all the bands correctly aligned. This is achieved via a novel cross-spectral registration network (CSR) which computes an optical flow between images of different spectral bands. The CSR network is also trained with self-supervision using an Anchor-Consistency loss, which we also introduce in this work. We demonstrate the performance of the proposed approach on synthetic and real L1B data, where we show that it obtains comparable results to supervised methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI