DiffFuSR: Super-Resolution of all Sentinel-2 Multispectral Bands using Diffusion Models

要約

このホワイトペーパーでは、Sentinel-2レベル-2A画像の12個すべてのスペクトルバンドを2.5メートルの統一グランドサンプリング距離（GSD）に超分解するためのモジュラーパイプラインであるDifffusrを示します。
パイプラインは2つの段階で構成されています。（i）NAIPおよびWorldStratデータセットの高解像度RGB画像で訓練された拡散ベースの超解像度（SR）モデルは、Sentinel-2特性をシミュレートするために調和します。
（ii）スーパー分解されたRGBイメージを空間事前として使用して、残りのマルチスペクトルバンドをアップスケールする学習した融合ネットワーク。
ブラインドSRをサポートするために、堅牢な分解モデルと対照的分解エンコーダーを導入します。
OpenSRベンチマーク上の提案されたSRパイプラインの広範な評価は、提案された方法が反射率の忠実度、スペクトルの一貫性、空間アライメント、および幻覚抑制の観点から現在のSOTAベースラインよりも優れていることを示しています。
さらに、Fusionネットワークは、古典的なパンシャープニングアプローチを大幅に上回り、Sentinel-2の20 mおよび60 mのバンドを正確に強化できるようにします。
この研究では、センチネル-2 srのモジュールフレームワークを作成するための生成的前fiousと融合戦略を使用した調和した学習の力を強調しています。
私たちのコードとモデルは、https：//github.com/norskregnesentral/difffusrにあります。

要約(オリジナル)

This paper presents DiffFuSR, a modular pipeline for super-resolving all 12 spectral bands of Sentinel-2 Level-2A imagery to a unified ground sampling distance (GSD) of 2.5 meters. The pipeline comprises two stages: (i) a diffusion-based super-resolution (SR) model trained on high-resolution RGB imagery from the NAIP and WorldStrat datasets, harmonized to simulate Sentinel-2 characteristics; and (ii) a learned fusion network that upscales the remaining multispectral bands using the super-resolved RGB image as a spatial prior. We introduce a robust degradation model and contrastive degradation encoder to support blind SR. Extensive evaluations of the proposed SR pipeline on the OpenSR benchmark demonstrate that the proposed method outperforms current SOTA baselines in terms of reflectance fidelity, spectral consistency, spatial alignment, and hallucination suppression. Furthermore, the fusion network significantly outperforms classical pansharpening approaches, enabling accurate enhancement of Sentinel-2’s 20 m and 60 m bands. This study underscores the power of harmonized learning with generative priors and fusion strategies to create a modular framework for Sentinel-2 SR. Our code and models can be found at https://github.com/NorskRegnesentral/DiffFuSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google