SatDiffMoE: A Mixture of Estimation Method for Satellite Image Super-resolution with Latent Diffusion Models

要約

衛星画像の取得中、通常、衛星画像システムの搭載センサーにより、空間解像度と時間解像度 (取得周波数) の間にトレードオフが存在します。
高解像度の衛星画像は、土地作物の監視、都市計画、山火事の管理、およびさまざまな用途にとって非常に重要です。
衛星画像において高い時空間分解能を達成することは、重要かつ困難な課題です。
拡散モデルの出現により、強力な生成事前分布を学習して高解像度のリアルな衛星画像を生成できるようになり、超解像度タスクの促進にも利用できます。
この研究では、\textbf{SatDiffMoE} と呼ばれる新しい拡散ベースの融合アルゴリズムを提案します。このアルゴリズムは、同じ位置にある任意の数の連続した低解像度衛星画像を入力として取得し、それらを 1 つの高解像度再構成画像に融合できます。
さまざまな時点からの補完的な情報を活用して融合することで、より詳細な情報を得ることができます。
私たちのアルゴリズムは柔軟性が高く、任意の数の低解像度画像のトレーニングと推論が可能です。
実験結果は、私たちが提案した SatDiffMoE 手法が、さまざまなデータセット上で衛星画像の超解像度タスクに対して優れたパフォーマンスを達成するだけでなく、以前の手法と比較して、削減されたモデル パラメーターで計算効率も向上することを示しています。

要約(オリジナル)

During the acquisition of satellite images, there is generally a trade-off between spatial resolution and temporal resolution (acquisition frequency) due to the onboard sensors of satellite imaging systems. High-resolution satellite images are very important for land crop monitoring, urban planning, wildfire management and a variety of applications. It is a significant yet challenging task to achieve high spatial-temporal resolution in satellite imaging. With the advent of diffusion models, we can now learn strong generative priors to generate realistic satellite images with high resolution, which can be utilized to promote the super-resolution task as well. In this work, we propose a novel diffusion-based fusion algorithm called \textbf{SatDiffMoE} that can take an arbitrary number of sequential low-resolution satellite images at the same location as inputs, and fuse them into one high-resolution reconstructed image with more fine details, by leveraging and fusing the complementary information from different time points. Our algorithm is highly flexible and allows training and inference on arbitrary number of low-resolution images. Experimental results show that our proposed SatDiffMoE method not only achieves superior performance for the satellite image super-resolution tasks on a variety of datasets, but also gets an improved computational efficiency with reduced model parameters, compared with previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google